检索结果-南通市图书馆

作者：程铭首都经济贸易大学

学位级别：硕士

智能制造是在制造的过程中加入智能的元素,将机器制造与人工智能结合起来,通过智能机器的工作在最大程度上取代人类在制造过程中的劳动来提高制造的工作效率。是制造业的最新发展方向之一。近年来,随着以人工智能和工业智能化为核心的... 详细信息

智能制造是在制造的过程中加入智能的元素,将机器制造与人工智能结合起来,通过智能机器的工作在最大程度上取代人类在制造过程中的劳动来提高制造的工作效率。是制造业的最新发展方向之一。近年来,随着以人工智能和工业智能化为核心的第四次工业革命的兴起,智能制造领域也越来越被关注,于是该领域的研究文献数量大大增加,这些研究文献包含了智能制造最前沿的技术。研究人员通过对智能制造领域的文献数据进行深度挖掘与分析,能够总结智能制造业的发展现状,发现智能制造的研究热点并对通过数据走势对其未来的发展方向做出预测,为智能制造领域的从事人员服务。但目前对于智能制造文献数据的分析多数都是基于基础的统计和简单的分析。因此,很有必要对智能制造领域从多个角度进行分析来充分挖掘有用的信息推动该领域的发展。本文利用软件工程的生命周期法数量从趋势、技术热点等多个方面对智能制造领域的文献数据进行了分析,形成了智能制造文献分析系统。(1)基础文献分析,对智能制造文献进行关键词年数量趋势、相关学者和相关机构的基础统计学分析并分别以折线图、力向导布局图的方式展示。(2)关键词分析,对智能制造的关键词进行关联词关系、词云、关键词地理分布、关联词相关研究趋势、技术热点的分析并分别采用力向导布局图、字符云图、地图、主题河流图、热力图展示。(3)合作网络分析,根据gn聚类算法对作者合作网络、机构合著网络及关键词同现网络进行构造和分析,展现文献间的关联。在智能制造文献分析系统的开发过程中,设计模式采用MVC模式,开发语言采用Java语言,数据库采用MySQL关系型数据库,采用Spring MVC+My Batis的开发框架,可视化展示采用了百度平台的ECharts组件。

关键词：智能制造文献分析 MVC模式 gn算法 ECharts

基于高速公路收费数据的湖北省城市群边界识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高速公路收费数据的湖北省城市群边界识别

作者：王占韬武汉理工大学

学位级别：硕士

近年来,在经济全球化的背景下,城市群已然成为地区释放发展潜能的关键介质,随着城市群不断的发展,区域对城市之间快速交通联系提出了更高的要求,2019年湖北省高速公路客货运输量占比达到30%,但国内外研究中,缺乏高速公路视角下的城市群... 详细信息

近年来,在经济全球化的背景下,城市群已然成为地区释放发展潜能的关键介质,随着城市群不断的发展,区域对城市之间快速交通联系提出了更高的要求,2019年湖北省高速公路客货运输量占比达到30%,但国内外研究中,缺乏高速公路视角下的城市群研究,使得高速公路在发展过程中与城市群的关系尚不明确。本文首先通过研究国内外相关文献,将城市群定义为“在研究区域内,以1个相对大型城市为核心,至少包含2个地区紧邻城市,依靠发达的交通网络所形成的具备密切经济社会联系,最终实现高度一体化的城市群体”,并且将边界识别定义为“对城市群空间范围的界定”。之后,通过政策因素分析、因子分析、社会网络分析三种方法,从政策因素、经济因素、交通因素三个方面共同确定了湖北省城市群的核心城市为武汉市、宜昌市、襄阳市。再者,基于高速公路收费数据,参考聚类思想应用gn算法、参考时空联系思想应用数理统计方法、参考万有引力思想应用引力模型,综合识别出湖北省城市群边界,最终结果为三个子群。结果表明,三种方法最终结果一致性较高,但其中也存在不同之处,根据结果来看潜江市处于游离状态,其经济引力与武汉市更加密切,但高速公路联系与宜昌市更加密切,表明潜江与宜昌之间的经济需求并未得到释放,交通输入与经济输出出现失真现象,未来可加强与武汉市交通联系建设,并基于现有高速公路建设增强与宜昌市经济产业联系。最后,本文根据研究结果在区域经济、高速公路两个方面提出发展建议,相关部门在编制高速公路建设规划时不仅注重整体发展更要关注局部发展,并且增加高速公路与经济发展相关指标以便更好的观测高速公路的发展,区域发展方面要发挥核心城市集散、辐射作用,以城市群视角实现全域协调发展。本文结合多种因素对湖北省城市群进行研究,并在高速公路视角下对湖北省城市群边界进行识别,最终识别出三个子群,为湖北省城市群发展、高速公路建设提供新视角、新方向,研究结论也可为湖北省高速公路相关管理部门以及政策制定部门提供参考和依据。

关键词：高速公路城市群 gn算法时空联系引力模型

基于复杂网络的微网耦合分析方法与查询策略研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于复杂网络的微网耦合分析方法与查询策略研究

作者：唐婷婷浙江工业大学

学位级别：硕士

电网是现代社会赖以生存维系的基石,随着化石能源的日渐消耗,对新能源供电方式的研究显得更加刻不容缓。微网作为一种新型的分布式供电方式,随着社会的发展,微网系统变得越来越复杂,系统之间的关联关系也越来越紧密。然而,这种紧密的关... 详细信息

电网是现代社会赖以生存维系的基石,随着化石能源的日渐消耗,对新能源供电方式的研究显得更加刻不容缓。微网作为一种新型的分布式供电方式,随着社会的发展,微网系统变得越来越复杂,系统之间的关联关系也越来越紧密。然而,这种紧密的关联关系使得微网系统在受到内外扰动时带来了特殊的电能质量问题,引起大电网污染。复杂网络是通过研究网络的拓扑结构来揭示性质和实现对网络的控制。微网系统具有复杂网络的特征,因此,深入研究复杂网络理论在微网中的应用具有十分重要的实际意义。本文以微网仿真模型为研究对象,针对光伏微网系统中各微源之间存在相互影响而产生的并网电能污染与内部负载不稳定等问题,将复杂网络理论引入到微电网领域,提出了一种光伏微网系统建模与微源耦合分析方法以及查询微网系统的性能参数的方法,根据微源耦合理论分析结果进行了针对性仿真实验,验证了所提出方法的可行性和有效性。全文的主要工作如下:（1）根据复杂网络和图论理论对微网系统进行了网络抽象和描述。搭建了一个典型的微网仿真模型,包含了作为供电源的光伏发电模型、风力发电模型、燃料电池发电模型和微型燃气轮机发电模型,以及作为储能装置的蓄电池充放电模型。（2）提出了一种“优先加边”的复杂网络生成算法,该算法结合“随机加边”和“优先连接”两种方式。利用复杂网络中最经典的层次聚类算法——gn算法,对微网系统的抽象模型划分社团结构,根据划分结果分析微源之间的关联性。（3）提出了一种基于小世界模型的查询策略,通过引入关联节点使得由微网系统抽象成的网络的拓扑结构符合小世界网络模型的拓扑结构,利用该策略对微网系统中各微源的性能参数进行查询,实现了高效的分布式信息搜索,减少网络的能量消耗。（4）通过改变微网仿真模型中的温度和光照强度,对gn算法的社团划分结果进行了验证和分析,为光伏微网分布式监控与布局优化设计提供了可靠的理论依据。在对QueryWSN查询策略的参数取值不同时,分析了该策略查询成功率和通信能耗的变化,为微网监控和维护提供科学依据。

关键词：光伏微网微源耦合复杂网络 gn算法查询策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户兴趣模型和社团挖掘的推荐方法研究

基于用户兴趣模型和社团挖掘的推荐方法研究

作者：李鹏兰州大学

学位级别：硕士

知乎是当前国内应用最广泛的社会化问答网络之一,其丰富的数据资源为科学研究提供了巨大的机遇。当前“知识电商”和“知识付费”的发展成为趋势,知识作为一种虚拟商品可以像实物一样被用户获取,网络平台也可以根据用户需求向其推荐感... 详细信息

知乎是当前国内应用最广泛的社会化问答网络之一,其丰富的数据资源为科学研究提供了巨大的机遇。当前“知识电商”和“知识付费”的发展成为趋势,知识作为一种虚拟商品可以像实物一样被用户获取,网络平台也可以根据用户需求向其推荐感兴趣的问题和答案。同时,知乎网络又是一种社交网络,其问答模式本身体现了一种社交特性,用户之间基于共同问题的互动体现着用户的兴趣特点。本文在充分研究知乎网络的用户关系结构和数据特点的基础上,以知乎网络自有的话题标签为基础,综合研究知乎能够表征用户兴趣的数据,提出了融合问题话题和用户话题的用户兴趣模型建立方法,并以实际数据进行实验分析,通过计算用户基于问题的话题集合与用户基于关注话题集合的重复率,客观地证明了该模型的有效性。与一般社交网络不同,知乎网络用户的社交性是基于问题的交互,用户以问题为纽带相互联系,通过实验分析基于问题的用户网络与基于关注和被关注关系的用户网络统计特征,验证了基于问题的用户网络的“小世界”特征和聚类特征,并论述了基于问题的用户网络体现用户兴趣的优势,最后提出了基于问题的用户兴趣网络构建方法。复杂网络社团发现理论研究的是网络中的强弱关系,在社会网络中体现了具有相同特性的人在网络中有强关系结构。知乎网络中存在“意见领袖”式的用户,这样的用户通常是网络的局部中心,本文以gn算法为基础,提出了一种基于中心节点的gn社团发现算法,提高了gn算法的运行效率和实用性,利用算法对本文构建的知乎用户兴趣网络进行了社团挖掘,并基于相似性算法设计了一种针对兴趣社团的推荐方法。本文还设计了数据爬取程序获取了实验数据,对该推荐方法进行了实验验证。

关键词：知乎网络社交网络复杂网络 gn算法推荐算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于IGgn算法的SNS用户群体特征分析

基于IGGN算法的SNS用户群体特征分析

作者：王媛天津财经大学

学位级别：硕士

在众多社会网络数据中,通常同时存在属性与关系两种数据类型,但当前针对社会网络的聚类分析,却往往只考虑了个体之间的链接关系而忽略了个体属性对组织的影响。若能同时利用属性与关系数据进行聚类,则可比单独使用链接关系的方法得到更... 详细信息

在众多社会网络数据中,通常同时存在属性与关系两种数据类型,但当前针对社会网络的聚类分析,却往往只考虑了个体之间的链接关系而忽略了个体属性对组织的影响。若能同时利用属性与关系数据进行聚类,则可比单独使用链接关系的方法得到更为准确的结果。基于这种思想,本文在传统数据挖掘gn算法的基础上提出了加权信息图模型以改进gn算法的聚类准确性,并在该模型的基础上设计了基于加权信息图的聚类算法（IGgn）.最后,我们在真实的合著网络数据集上进行了实验,实验结果表明,同时考虑属性与关系影响的IGgn算法具有比单纯考虑链接结构的gn算法更高的聚类准确性。本文的研究包括两部分内容。第一部分是对网络静态拓扑结构的分析,对节点度、聚集系数、特征路径长度以及膨胀率等指标的计算,从多个角度刻画了SNS网络的用户群体特征。第二部分,是在传统gn算法的基础上进行改进,从而提出了IGgn算法,并通过模拟实验证明其相较于G-N算法可以更准确地挖掘出网络中的组织结构。

关键词：社会网络数据挖掘聚类信息图 gn算法

基于侵权社区挖掘的P2P网络版权内容传播研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于侵权社区挖掘的P2P网络版权内容传播研究

作者：侯现成山东大学

学位级别：硕士

P2P (Peer-to-Peer)对等网络因其非中心化,自组织,动态可扩展等特点,在资源共享和内容传播方面得到广泛应用的同时,由于缺少一种严格的内容授权和第三方监管机制,造成了不良资源和盗版侵权内容的泛滥传播,正面临着一场严重的信任危机。... 详细信息

P2P (Peer-to-Peer)对等网络因其非中心化,自组织,动态可扩展等特点,在资源共享和内容传播方面得到广泛应用的同时,由于缺少一种严格的内容授权和第三方监管机制,造成了不良资源和盗版侵权内容的泛滥传播,正面临着一场严重的信任危机。为了深入挖掘用户节点之间版权内容共享关系,深刻反映P2P网络中版权内容的传播与分布,最终有效地进行版权内容的监管与侵权内容传播的反制,本文引入社区发现理论,提出基于行为者网络模型的侵权社区挖掘方法及监管系统。以网络中社区结构为监管对象,通过对社区内版权内容分布的研究,对社区的威胁度进行量化分析,并探索侵权社区内容传播的反制策略。通过对对等网络中侵权行为研究发现,侵权者之间相互共享和传递大量相似版权内容,这种基于内容共享和消息传递的节点组成社区的结构。社区发现技术是数据挖掘和探测性分析技术在复杂网络中极为重要的研究,在社会网络分析领域、数据挖掘和数据库技术领域、统计学和机器学习等领域有广泛的应用。本文基于行为者网络(Actor-network model)模型构建侵权社区的研究方法包含：步骤1用于网络数据的预处理;步骤2构建行为者网络模型;步骤3完成侵权社区挖掘。其中第二步包含内容相似度图的构建、节点关系联接和消息筛选及过滤等步骤。在内容相似度图构建模块,本文首先对内容元数据进行本体描述,然后进行相似度的计算,确保版权内容描述的准确性和挖掘的全面性;节点关系联接模块,记录了消息时间戳、消息频率、消息类型在内的性质完成消息权重的量化;消息筛选及过滤过程大大简化了P2P网络数据,为实施社区挖掘算法做到提前优化。第三步是在研究社区挖掘经典算法Girvan-Newman (gn)算法的基础上提出有效的侵权社区挖掘的ANMgn算法,引入社团结构增益缩短算法时间。目前,版权内容的监管一种是采取事后处理的方式,即发现盗版侵权内容后,通过采取阻止下载、文件清除等技术阻断侵权内容的传播;另一种是内容格式加密技术,符合版权方许可的用户才能下载,而这种技术并不是开源的,只适用于特定软件,没有普遍性。本文提出的基于侵权社区挖掘方法实现了对版权内容的传播流向和分布检测与监管,达到区域预警及时对侵权社区予以打击。为了解决P2P网络中的盗版侵权内容传播问题,本文在侵权社区发现的基础上,分析了社区的威胁度,对侵权社区内版权内容传播提出两种反制机制：断点反制策略和断边反制策略。版权内容传播时出现经过次数最多的节点,我们称之为桥接点,断点反制策略就是通过找到社区桥接点,在必要时删除这些桥接点,以达到阻碍版权内容向外传播;社区之间的连接边,我们称之为关键边,断边反制策略通过找到网络中的关键边,在必要时产出这些边,破坏版权内容的传播。

关键词： P2P网络行为者网络侵权社区内容相似度图节点关系联接社区威胁度社区挖掘 gn算法

基于Hadoop的面向web规模图数据的社区发现算法的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的面向web规模图数据的社区发现算法的研究与实现

作者：王义超东北大学

学位级别：硕士

来自于真实世界许多不同区域或者覆盖范围的数据集可以表示成社交网络的形式,而且这种表示形式是非常的自然、简洁、有意义。为什么这么说呢?因为这种形式反映巧妙的表达了一种社会化的关系网络。Internet的兴起,尤其是Web 2.0应用的强... 详细信息

来自于真实世界许多不同区域或者覆盖范围的数据集可以表示成社交网络的形式,而且这种表示形式是非常的自然、简洁、有意义。为什么这么说呢?因为这种形式反映巧妙的表达了一种社会化的关系网络。Internet的兴起,尤其是Web 2.0应用的强势崛起极大地拓展了真实世界中的社交关系网络。社交网络应用的流行积累越来越多的关系网络数据(也就是图数据),对社交网络数据的分析可以发现这个社交网络的组织模式以及该网络背后隐藏的一些属性。社区发现和分析是一种重要的通过把大规模网络分割成小的子网络(也就是社区)从而分析复杂的大规模网络来达到理解真实世界网络关系的技术手段,已经在很多的领域中得到了应用。比如,基于兴趣爱好的主题推荐、生物信息学领域中基因调控网络分析、基于浏览习惯的新闻、商品推荐以及根据流行病的传播网络,通过对网络的分析找出网络中传染病的关键社区以及传播源的关键结点等。尤其是最近几年,社交网络应用的强势崛起积累的大量的相关的在各个领域中的数据,这些数据规模都很大,需要通过社区发现等相关的技术来进行分析才能得到利用,从而为经济和社会来服务。因此,对于社区发现这个主题的研究具有重要的理论意义和应用价值。近些年来,许多针对具有数百万条边的图数据的算法先后不断被提出来。这类算法由于面对的是仅仅只有数百万条边的图数据,因此它们的一个共同的特点就是都是在单节点在内存中来对图数据进行运行和分析的。然而,随着大数据时代的来临,随着图数据的增长,大量的图数据得到积累保存,形成了超大规模的具有数十亿条边的图数据。针对这种超大规模的图数据,使用前面提到的在单节点在内存中运行的算法来进行分析是不可能达到目标的。好在随着分布计算技术的兴起,直至今天分布式计算技术已经非常的成熟,出现了以Hadoop为代表的开源的分布式计算平台。像Hadoop这种成熟的分布式计算平台的出现给我们这个大数据时代的针对海量数据的分析提供了可能性。我们的方法就是在Hadoop平台上利用分布式的算法来处理具有数十亿条边的图数据。在这篇论文中,我们展示了如何在有数十亿条边的这种超大规模的图数据中发现社区的。我们的方法基于一种集成学习的社区发现方案。这种方案提供了一种从由较低质量分割组成的集合中识别出高质量的分区的方法。我们提出了一种针对社区发现算法进行预处理的方法。通过这种预处理的方法我们可以显著地降低我们要处理的问题的规模。降低了要处理的问题的规模以后,传统的非分布式的社区发现算法就可以进行应用了。我们在分布式计算框架Apache Hadoop上面实现了一个弱化的但却是可高度扩展的的标签传播算法。通过对我们在Apache Hadoop集群上实现的社区发现算法在多达33亿条边的图数据集上的评估,我们发现该评估展现了在社区质量以及可扩展性方面取得了非常不错的结果。对于一个比较小的只有2.6亿条边的图数据集,结果显示我们的预处理方法同样可以提高基于模块化优化的社区发现算法的结果。在社区发现的研究过程中诞生了非常多的经典的集中式的社区发现算法,在这篇论文中我也选取了非常经典的gn算法来进行实现和分析。

关键词：社区发现分布式算法 Web规模的图数据 MapReduce gn算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电网规模的异速生长规律研究

电网规模的异速生长规律研究

作者：张毓灵华南理工大学

学位级别：硕士

电网作为现代社会的关键基础设施和能源互联网的枢纽,其发展一直得到极大关注。对电力网络的发展路径开展定量评估是现阶段相关部门进行电网规划与建设管理过程中需要考虑的关键问题。一种从全局的角度评判电网规模发展本质的机理有助... 详细信息

电网作为现代社会的关键基础设施和能源互联网的枢纽,其发展一直得到极大关注。对电力网络的发展路径开展定量评估是现阶段相关部门进行电网规划与建设管理过程中需要考虑的关键问题。一种从全局的角度评判电网规模发展本质的机理有助于更科学准确地设定电力系统的发展路径。本文提出一种基于复杂网络理论的异速生长规律研究电网规模发展变化规律的方法,在相关领域进行了探索性的研究。本文为电力系统的规划和建设提出了一种系统性的评判方法,试图在复杂网络理论的基础上,探索电网在演化发展过程中遵循的本质规律。首先对适用于研究各种不同领域的复杂网络通用理论展开简要的论述,介绍了异速生长规律及其一个重要推论——四分之一次幂规律法则。将基于生物网络提出的异速生长规律拓展应用到电网中,建立了电网的零阶模型之后,通过类比推理初步验证了电网的规模研究也适合使用异速生长规律。此外,本文还考虑了电网自身的分层分区拓扑特性,结合复杂网络的社团结构,提出了一种基于模块度的加权Girvan和Newman社团发现算法,并将其应用到电网的规模研究中。最后从多个发展程度各异的电网之间和一个足够大的电网及其经过加权社团划分后得到的各层级子电网之间开展算例分析。基于同一种电网数据处理方法对原始电网数据进行一次横向和多次纵向的处理、整合、分析后,都能得到电网发展演化规模满足异速生长规律并呈亚线性增长,且符合四分之一次幂规律法则的结论。算例表明电网系统存在发展上限,电网规模不会一直增大,电网的规划应尊重这一本质规律,在电网建设到一定阶段后更加注重内生增长以获得更健康的发展,而不应无止境地扩张其规模。

关键词：电网规模异速生长规律复杂网络理论亚线性生长社团结构 gn算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图聚类的社会网络数据挖掘算法研究

基于图聚类的社会网络数据挖掘算法研究

作者：金超山东理工大学

学位级别：硕士

近年来,随着生物化学、社会关系网络、文本检索以及Web分析的广泛应用,一些比较复杂的结构,已经不能用序列、项集描述出来。而图作为一种普适模型,可以用来描述现实世界各类复杂系统。使用图可以更好的分析、理解现实复杂的问题。在现... 详细信息

近年来,随着生物化学、社会关系网络、文本检索以及Web分析的广泛应用,一些比较复杂的结构,已经不能用序列、项集描述出来。而图作为一种普适模型,可以用来描述现实世界各类复杂系统。使用图可以更好的分析、理解现实复杂的问题。在现实生活中,人们处在各种各样的社会关系当中,这些社会关系就构成了一张社会关系网络。这张社会关系网络描述了社会成员及其相互的关系。从数据挖掘的观点来说,社会关系网络可以用图的方式来进行表示。图中的节点代表被研究的个体,边代表个体与个体之间的相互关系。本文通过对经典社区挖掘算法gn(Girvan-Newman algorithm,gn)算法进行研究,结合SCAN(Structural Clustering Algorithm for Networks,SCAN)算法中提出的结构相似性,通过重新定义边介数的计算,提出了一种改进的基于结构相似度的社区挖掘聚类算法gnSCAN(Girvan-Newman algorithm based on SCAN,gnSCAN)及其改进算法IgnSCAN(Improved Girvan-Newman algorithm based on SCAN,IgnSCAN)。同时,使用gn算法与链路预测中的资源分配指标RA(Resource Allocation,RA)相结合,提出了一种基于链路预测的社区挖掘算法gnRA(Girvan-Newman algorithm based on Resource Allocation,gnRA),及其相应的改进算法IgnRA(Improved Girvan-Newman algorithm based on Resource Allocation,IgnRA)。以上所提出的两类算法均是采用了分裂的层次聚类思想。使用时间复杂度较低的相似性度量方法代替边介数的计算,达到降低gn算法时间复杂度的目的。通过对两类算法的实现,验证了所提改进算法具有较低的时间复杂度。本文将图聚类的思想运用到了社区发现当中。将社会关系网络看作是一张图,通过图聚类的方式得到对社会网络的划分。本课题在社区发现方面具有一定的理论与实际意义。

关键词：数据挖掘图聚类 gn算法社区发现结构相似性链路预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

复杂网络社团发现算法的并行化设计与研究

复杂网络社团发现算法的并行化设计与研究

作者：于静雯辽宁师范大学

学位级别：硕士

随着互联网的迅猛发展与信息技术的普及,快速积累的海量数据时代已经来临。如何有效的处理海量数据是现今信息技术领域最炙手可热的话题。解决大数据的相关问题不仅仅是时间上的挑战,还需要大量的机器硬件设备来支持,以便高效、准确的... 详细信息

随着互联网的迅猛发展与信息技术的普及,快速积累的海量数据时代已经来临。如何有效的处理海量数据是现今信息技术领域最炙手可热的话题。解决大数据的相关问题不仅仅是时间上的挑战,还需要大量的机器硬件设备来支持,以便高效、准确的处理和分析数据。云计算技术的出现不仅在实际上摆脱了昂贵的硬件费用问题,对海量数据处理的实用化也提供了解决方案。云计算的并行计算模型使得它遵循着不信任任何节点服务器的观点。相同的一个数据块的多个副本会存放在不同节点上。虽然计算节点不稳定,但是这些节点却可以构建出稳定的云计算系统。当今流行的Hadoop是Apache基金会的开源项目,为程序开发者提供了一个分布式系统的基础框架。本论文针对离散化算法和复杂网络社团发现算法进行了深入研究,并在MapReduce框架下对这两算法进行了并行化设计与实现,论文的主要工作如下。1)针对传统的连续属性离散化算法的不足,提出一种基于MapReduce框架下的并行化Chi2算法来提高对海量数据预处理的能力。通过深入研究传统的Chi2算法中的可并行性,设计并实现了相应的MapReduce框架下的函数,并依据属性重要性程度对属性离散化顺序进行合理调整。实验结果表明基于MapReduce编程模式的Chi2算法具有良好的可扩展性和较高的执行效率,对于快速处理海量数据提供了一种有效方法。2)在大型网络中经常利用复杂网络来探寻社团结构,但由于在此过程中需要计算网络中每对节点之间的最短路径,进而产生了相应的局限性。为解决此类问题,在MapReduce模型框架下进行编程,提出一种并行版本的格文-纽曼(gn)算法来支持大规模网络社团的计算。在Hadoop上利用开源平台MapReduce框架实现了MR-gn算法。实验表明随着reducer个数的线性增加,所用的时间呈线性减少趋势。在减少的过程中,当reducer的个数达到饱和时,时间曲线将会保持平稳。

关键词：云计算离散化 chi2算法社团发现 gn算法 MapReduce