检索结果-南通市图书馆

map/reduce框架下的粗糙集空间数据挖掘改进算法

在线全文

学校读者我要写书评

暂无评论

测绘科学 2014年第5期39卷 49-53页

作者：刘琼赵荣孙立坚山东农业大学山东泰安271018 中国测绘科学研究院北京100830

大数据时代,传统的空间数据挖掘算法在挖掘海量空间数据信息时存在计算能力和存储能力不足的瓶颈。为解决此问题,本文在研究粗糙集基本理论和map/reduce框架的基础上,对传统的粗糙集空间数据挖掘算法进行基于map/reduce的高效、廉价的... 详细信息

大数据时代,传统的空间数据挖掘算法在挖掘海量空间数据信息时存在计算能力和存储能力不足的瓶颈。为解决此问题,本文在研究粗糙集基本理论和map/reduce框架的基础上,对传统的粗糙集空间数据挖掘算法进行基于map/reduce的高效、廉价的并行化改进。实验表明,在处理大数据时,改进后的模糊集并行空间数据算法能有效提高算法的效率,满足人们处理海量空间数据的需求。

关键词：大数据空间数据挖掘模糊集 map/reduce 并行化

动态在线map/reduce流数据处理模型及作业拓扑管理协议

在线全文

学校读者我要写书评

暂无评论

吉林大学学报（理学版） 2015年第5期53卷 950-955页

作者：魏晓辉李翔李洪亮李聪庄园吉林大学计算机科学与技术学院长春130012

针对海量流数据的在线处理需求,提出一种不同于传统map/reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线map/reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程... 详细信息

针对海量流数据的在线处理需求,提出一种不同于传统map/reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线map/reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线map/reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.

关键词：流数据处理 Flexible workflow模型 map/reduce 拓扑管理

DMS算法在map/reduce任务调度中的应用

在线全文

学校读者我要写书评

暂无评论

哈尔滨理工大学学报 2019年第1期24卷 71-77页

作者：裴树军孔德凯苗辉哈尔滨理工大学计算机科学与技术学院黑龙江哈尔滨150080

云环境下传统的任务调度算法整体效率较低,为了提高任务调度的整体效率,在map/reduce基础上提出了一种基于处理时间的DMS任务调度算法。首先,对复杂任务进行预处理,将复杂任务转化为DAG图,依据任务依赖关系大小产生最佳拓扑排序,并依据... 详细信息

云环境下传统的任务调度算法整体效率较低,为了提高任务调度的整体效率,在map/reduce基础上提出了一种基于处理时间的DMS任务调度算法。首先,对复杂任务进行预处理,将复杂任务转化为DAG图,依据任务依赖关系大小产生最佳拓扑排序,并依据排序结果将复杂任务交给work节点进行处理;其次,通过将节点处理任务的预测时间与节点处理能力的比值作为子任务在每个节点的处理"时间"进行量化建模,建立任务和处理时间的度量矩阵,依据DMS算法进行处理,从而获得任务分配最佳方案;最后,从任务调度效率与资源使用率的角度将DMS算法与公平调度算法、遗传算法行对比验证。实验结果表明,DMS算法能明显提高任务调度整体效率,充分利用各节点的计算能力提高了map/reduce的调度效率。

关键词：云计算 map/reduce 任务调度差值矩阵

基于map/reduce的电力监控系统规则挖掘技术研究

在线全文

学校读者我要写书评

暂无评论

控制工程 2017年第10期24卷 2156-2160页

作者：刘雨欣张琼洁张景景郑州铁路职业技术学院电气工程系郑州450000 郑州铁路职业技术学院机车车辆学院郑州450000

鉴于电力监控系统的多异类信源和动态融合特性,对系统海量实时监控信息进行故障规则挖掘和预测性监测。针对传统决策树法效率难提升问题,提出一种基于并行框架map/reduce和包含度测量相融合的规则挖掘算法(MRDT)。通过构建云计算Hadoop... 详细信息

鉴于电力监控系统的多异类信源和动态融合特性,对系统海量实时监控信息进行故障规则挖掘和预测性监测。针对传统决策树法效率难提升问题,提出一种基于并行框架map/reduce和包含度测量相融合的规则挖掘算法(MRDT)。通过构建云计算Hadoop平台,在其分布式并行计算框架map/reduce基础上实现基于包含度的决策树规则挖掘算法的并行处理,高效地提取信任度较高的故障规则。以某水电站实时监控系统的电气信息为例,对MRDT算法进行实验测试,结果表明:MRDT算法在保证传统DT算法规则信任度较高的同时,提高了挖掘效率。

关键词：电力监控系统规则挖掘预测 map/reduce MRDT 信任度

基于map/reduce的海量视频图像检索系统设计

在线全文

学校读者我要写书评

暂无评论

电视技术 2015年第4期39卷 33-36页

作者：杨曼何鹏齐怀琴安井然齐齐哈尔大学通信与电子工程学院黑龙江齐齐哈尔161006

齐齐哈尔市公安视频监控系统中每天所产生的大量视频数据对视频图像的检索、管理及安全产生了迫切的需求,视频图像的检索存在两个急需解决的问题,一是视频检索的准确度问题,二是检索效率的问题。面对海量的视频数据库,提出了基于map/Red... 详细信息

齐齐哈尔市公安视频监控系统中每天所产生的大量视频数据对视频图像的检索、管理及安全产生了迫切的需求,视频图像的检索存在两个急需解决的问题,一是视频检索的准确度问题,二是检索效率的问题。面对海量的视频数据库,提出了基于map/reduce分布式计算模型与关键帧算法结合的方法,既提高了检索效率,又提高了检索准确率。

关键词： map/reduce 关键帧视频检索

基于map/reduce的网页消重并行算法

在线全文

学校读者我要写书评

暂无评论

广西师范大学学报（自然科学版） 2007年第2期25卷 153-156页

作者：张元丰董守斌张凌陈晓志华南理工大学广东省计算机网络重点实验室广东广州510640

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于map/reduce的实现机制,并通过实... 详细信息

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于map/reduce的实现机制,并通过实际网站的实验验证了该消重算法的稳定性和处理大量网页时的并行性能。

关键词：搜索引擎网页消重 map/reduce

基于map/reduce的银行客户关系分析系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于Map/Reduce的银行客户关系分析系统的设计与实现

作者：王英超吉林大学

学位级别：硕士

当前国际金融界正经历着一场前所未有的改革,更加注重信息化、全球化、开放化的金融时代即将到来,银行作为金融行业的带头机构,其传统业务受到严重冲击,因而部分商业银行已经从传统的储蓄和借贷业务模式中走了出来,开始衍生出各种各样... 详细信息

当前国际金融界正经历着一场前所未有的改革,更加注重信息化、全球化、开放化的金融时代即将到来,银行作为金融行业的带头机构,其传统业务受到严重冲击,因而部分商业银行已经从传统的储蓄和借贷业务模式中走了出来,开始衍生出各种各样面向不同对象的财务管理服务。这在一方面为银行的发展开辟了新的道路,创造了新的机遇。另一方面也使得激烈的行业竞争愈演愈烈。快速、准备的把握消费者的心理,迎合投资者的需求,成为提高银行竞争力的关键所在。客户关系管理分析作为一种新的营销观念,其核心是对客户关系营销的实质性内容进行研究,对传统的营销模式进行综合分析,并从其中的关键内容着手,将其改造为一个新的营销模式与方法体系。通过分析客户的以往业务记录,了解不同客户的差异和需求,并加强对客户的实际需求的考察,判断客户的投资类型,推断客户业务需求,不断的进行业务改进,向客户的要求靠拢,为不同的客户提供更有针对性地服务。从而提高自身的服务水平与产品质量,获得更高的经济和社会效益。客户关系分析主要用于高效处理客户的基本信息,在实现客户信息管理数字化、信息化的同时,将企业或组织的客户信息进行高效整合和共享,将客户的利益与行业自身的发展进行有机结合,提高了信息处理的效率与信息管理的一体化。因此,在银行系统中进行客户关系分析管理能够帮助银行了解客户和客户可能需要的产品,并以此为基础进行有针对性的客户管理和客户营销,提高客户经理的工作效率,节省人力资源。最终达到改善银行与客户之间的关系,提供更快、更高、更好的服务,吸引更多客户,降低银行管理中的运营成本,优化银行客户管理工作,改善营销策略,深层次促进银行的可持续发展的终极目标。本文通过调查研究,充分了解银行客户关系系统的现实意义,并通过阅读大量客户关系分析方面的文献资料,设计了基于map/reduce的银行客户关系分析系统,实现了银行客户关系管理网络化。系统设计采用JAVA EE WBE开发工具,使用Hadoop分布式系统开发框架,运用HDFS进行文件数据的存储,并利用map reduce对用户信息进行计算,最后运用Sybase数据库实现数据连接,完成系统设计和实现。论文首先从我国银行发展现状与商业需求等现状阐述了开发银行客户关系分析系统的必要性与可行性;下一步按照软件工程实施流程对银行客户关系分析系统进行技术框架选择,分析系统整体需求、功能需求以及非功能性需求;然后对系统进行整体设计、系统功能模块设计以及数据库设计;并最终完成系统的实现和开发工作,将系统部署到试运行环境中,对系统整体和功能模块进行黑盒和白盒测试,确认系统的实用性和安全性;最后进行对系统设计进行了总结,同时对客户关系分析系统未来发展方向做出了展望。

关键词：客户关系分析营销策略 map/reduce Hadoop

基于map/reduce的分布式搜索模型研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Map/Reduce的分布式搜索模型研究

作者：胡始昌厦门大学

学位级别：硕士

随着互联网的发展,数据呈现几何式的增长,如何能够从巨大的数据中快速寻找出对自己有用的数据,将会是大家面临的一个问题。搜索技术的出现方便了人们快速而且有效的获取信息。在搜索技术中,最突出的搜索工具就是搜索引擎,当然针对于一... 详细信息

随着互联网的发展,数据呈现几何式的增长,如何能够从巨大的数据中快速寻找出对自己有用的数据,将会是大家面临的一个问题。搜索技术的出现方便了人们快速而且有效的获取信息。在搜索技术中,最突出的搜索工具就是搜索引擎,当然针对于一些特定数据的搜索工具,比如说在交叉学科领域的一些数据的检索工具也给人们带来了巨大的便利之处。本文正是基于这两个方面开展研究工作,并且从研究和设计的角度出发,对于分布式搜索领域的相关理论和技术进行了详细的讨论和分析,详细的介绍了map/reduce的分布式架构技术和搜索领域的Lucene技术,并以此为基础,开展了两项工作的设计开发。论文中主要实现的工作为：第一,实现了学术论文搜索的单机搜索模型和分布式搜索模型的开发,并对于其中遇到的一些问题进行了解决或优化;第二,对于学术论文搜索中的文本分类和索引存储进行了方法上的改进,使得效率有了显著的提高;第三,实现了基因/蛋白质序列搜索的单机搜索模型和分布式搜索模型的开发,对于分布式中的Combiner优化和数据倾斜的问题,给出了合理的解决方法;第四,通过对于单机搜索模式和分布式搜索模式的实验数据对比,突出展示了分布式模式在解决大数据问题上的优越性。本文通过设计与开发搜索工具并进行分布式扩展,使我们了解到分布式搜索模型在大数据领域的先进性和优越性,并且对于其中遇到的问题都有妥善的处理和详细的解答,所以,本文的内容是具有极大的研究意义的。

关键词：分布式搜索 map/reduce 优化

云环境中基于map/reduce的虚拟机调度策略研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境中基于Map/Reduce的虚拟机调度策略研究

作者：张飞飞西安电子科技大学

学位级别：硕士

云计算是从网格计算、并行计算和分布式计算发展而来的，云计算采用虚拟化技术对数据中心的各种硬件资源进行虚拟化，形成虚拟资源池，然后动态部署虚拟资源供用户透明使用。数据中心规模的不断扩大以及用户数量的持续增加，都导致如... 详细信息

云计算是从网格计算、并行计算和分布式计算发展而来的，云计算采用虚拟化技术对数据中心的各种硬件资源进行虚拟化，形成虚拟资源池，然后动态部署虚拟资源供用户透明使用。数据中心规模的不断扩大以及用户数量的持续增加，都导致如何在海量数据中快速提取有价值的信息成为云计算首要解决的问题。本文在总结前人工作的基础上，针对云环境中基于map/reduce的虚拟机调度策略做出两种改进方案，一是对map/reduce框架进行改进，将GPU应用到map/reduce并行计算模型平台进行大规模数据处理，形成双层次并行处理模型，有效的加快任务的执行效率。二是结合云计算不确定性和复杂性的特点，将基于map/reduce的改进蚁群算法应用到云计算的虚拟机资源调度问题中，首先采用Min-min算法得出的任务预期最小完成时间，以实现最小调度时间;其次在信息素局部更新时不仅考虑到当前节点还考虑到周遭节点的信息素变化情况，加强了蚂蚁间的协作;然后在双向蚂蚁机制中根据信息素最优原则保存反向蚂蚁携带的信息;最后将需求的价格弹性应用到改进的蚁群算法中，以价格间接控制系统负载，达到用户和商家的双赢。仿真结果表明基于map/reduce的改进蚁群算法能够更快地为用户寻找到适合执行任务的虚拟机资源，保证用户服务等级协议，提高负载均衡水平。

关键词：云计算 GPU 资源调度蚁群算法 map/reduce