检索结果-南通市图书馆

一种基于MapReduce的知识聚类与统计机制

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2016年第1期38卷 202-208页

作者：徐小龙李永萍南京邮电大学计算机学院南京210003

网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题。该文提出一种基于Map Reduce的知识聚类与统计机制:首先,提出基于Map Reduce的共现矩阵构建算法MR-Co Matrix;其次,将共... 详细信息

网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题。该文提出一种基于Map Reduce的知识聚类与统计机制:首先,提出基于Map Reduce的共现矩阵构建算法MR-Co Matrix;其次,将共现矩阵与相似度系数结合构建相似度矩阵;然后,通过Z Scores对相似度矩阵进行标准化;最后,使用离差平方和法(Ward,s method)对相似度矩阵进行聚类,生成树状的知识聚类谱系图;基于聚类结果,提出基于Map Reduce的知识文献统计算法MR-Statistics,对每个分类的知识属性进行统计。实验结果表明:将MR-Co Matrix和MR-Statistics方法应用于网络文献知识库进行知识聚类和统计,达到较理想的聚类精度和计算效率,实现了细粒度知识聚类和多维统计,同时减少了时间开销。

关键词：数据挖掘聚类知识共现矩阵统计 Map Reduce

基于MapReduce与相关子空间的局部离群数据挖掘算法

在线全文

学校读者我要写书评

暂无评论

软件学报 2015年第5期26卷 1079-1095页

作者：张继福李永红秦啸荀亚玲太原科技大学计算机科学与技术学院山西太原030024 Department of Computer Science and Software Engineering Auburn UniversityAuburnUSA

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密... 详细信息

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

关键词：局部离群数据相关子空间 Map Reduce 局部稀疏度概率密度

异构环境下自适应Reduce任务调度算法的研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2018年第7期35卷 1989-1991,2000页

作者：付彦卓张树东李辉首都师范大学信息工程学院北京100048

异构环境下的Hadoop平台对Reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力。针对以上问题,提出一种异构环境下自适应Reduce任务调度算法(SARS)。算法根据Reduce任务的输入数据... 详细信息

异构环境下的Hadoop平台对Reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力。针对以上问题,提出一种异构环境下自适应Reduce任务调度算法(SARS)。算法根据Reduce任务的输入数据分布选择所含数据量最大的机架,在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点。实验结果表明,SARS算法减少了Reduce任务执行时的网络开销,同时也减少了Reduce任务的执行时间。

关键词： Hadoop Reduce 异构环境数据本地性计算能力

基于Map／Reduce的改进选择算法在云计算的Web数据挖掘中的研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2013年第2期30卷 377-379,395页

作者：方少卿周剑张明新铜陵职业技术学院安徽铜陵244000 常熟理工学院江苏常熟215000

针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。

关键词：云计算 Web数据挖掘 Map Reduce

基于Map/Reduce并行编程模型的XBRL维度数据解析算法

在线全文

学校读者我要写书评

暂无评论

中国科学院大学学报（中英文） 2014年第1期31卷 124-129页

作者：朱健鹏王颖杨诚中国科学院大学工程管理与信息技术学院北京100049

从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系... 详细信息

从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系,以整份XBRL财务报告为处理的最小单位,结合并行技术提取维度事项所包含的数据,再处理业务语义数据,从而实现复杂XBRL维度数据的解析.性能比较分析表明,该算法在大规模XBRL数据处理方面具有显著优势.

关键词： XBRL 半结构化数据处理大数据处理 Map Reduce XBRL维度

基于MapReduce的语义网空间数据关联

在线全文

学校读者我要写书评

暂无评论

测绘科学技术 2019年第2期7卷 90-100页

作者：杨雯雨武汉大学测绘遥感信息工程国家重点实验室湖北武汉慕尼黑工业大学土木地质环境工程系德国慕尼黑

构建数据网是实现语义网的一种途径,而关联不同的RDF数据集是构建数据网中的重要问题。在RDF关联中,同质关联是一种重要类型,旨在匹配来自不同数据集中的相同实体。构建地理空间实体之间的同质关联有许多方法,本文采用了基于相似性的关... 详细信息

构建数据网是实现语义网的一种途径,而关联不同的RDF数据集是构建数据网中的重要问题。在RDF关联中,同质关联是一种重要类型,旨在匹配来自不同数据集中的相同实体。构建地理空间实体之间的同质关联有许多方法,本文采用了基于相似性的关联方法,使用Hausdorff距离计算两个实体之间的位置和形状相似度。由于Hausdorff距离的计算十分复杂并且地理空间数据具有大数据的特性,因此整个匹配过程非常耗时。本文提出了一种基于MapReduce框架的并行计算方法,大大减少了运行时间。实验对欧洲领土数据库(NUTS)和全球行政区划数据库(GADM)中的数据进行了同质关联。关联结果精度高,在1个节点上运行时,运行时间超过了一天,而利用拟议的并行框架,在8个节点上运行时间仅3小时左右。

关键词： Map Reduce 数据关联地理空间数据 Hausdorff距离

基于Map Reduce的大数据并行关联数据挖掘算法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

攀枝花学院学报 2018年第5期35卷 89-92页

作者：陈艳安徽文达信息工程学院安徽合肥231201

关联规则是数据挖掘常用的算法之一,能够根据数据之间的关联程度进行数据的分析和挖掘。关联规则,特别是Apriori算法在关系型数据的处理上得心应手,但是对大数据的处理存在着不能够自动负载均衡及容错能力差等诸多弊端。文章从Map Reduc... 详细信息

关联规则是数据挖掘常用的算法之一,能够根据数据之间的关联程度进行数据的分析和挖掘。关联规则,特别是Apriori算法在关系型数据的处理上得心应手,但是对大数据的处理存在着不能够自动负载均衡及容错能力差等诸多弊端。文章从Map Reduce算法着手,介绍了大数据下关联规则的相关概念及Map Reduce分布式计算模型,在此基础上介绍了Map Reduce模式下的关联规则算法及其优点,Map Reduce模式下Apriori算法有效实现关联规则的数据挖掘,并且能够在Hadoop下实现负载均衡及容错能力。

关键词： Map Reduce 数据挖掘 Hadoop 关联规则算法频繁项集

Reduce Tax and Alleviate the Burden

在线全文

学校读者我要写书评

暂无评论

China's Foreign Trade 2019年第1期 22-23页

作者： Sophie Li 不详

‘Tax reduction’must be one of the key words of the Chinese economy in 2018,during which various preferential tax policies were successively issued and tax-cut bonuses are continuously released.Since the beginning of the year,China has set a target of RMB 1.1 trillion in tax reductions throughout the year.In the second half of 2018,incremental policies were introduced.It is estimated that the annual economic burden will be Reduced by more than RMB 1.3 trillion in 2018.

关键词： Reduce Tax Alleviate the Burden China's economy

基于Map Reduce的云数据挖掘模型的设计与实现

在线全文

学校读者我要写书评

暂无评论

网络安全技术与应用 2017年第6期 62-63,71页

作者：谢光三亚学院海南572000

当今社会随着计算机技术的高速的发展,涌现出大量的数据,促使了云数据逐渐成为时代潮流。数据挖掘技术则正是从这些大量的数据中提取对我们有价值的的数据。数据挖掘又叫做数据采矿、数据资料探勘等,是当今数据快速发展的产物。大数据... 详细信息

当今社会随着计算机技术的高速的发展,涌现出大量的数据,促使了云数据逐渐成为时代潮流。数据挖掘技术则正是从这些大量的数据中提取对我们有价值的的数据。数据挖掘又叫做数据采矿、数据资料探勘等,是当今数据快速发展的产物。大数据的出现对传统的简单的数据挖掘算法提出挑战,新型的基于Map Reduce的云数据挖掘正在茁壮地发展。Map Reduce是当前最流行的分布式计算模型,在云数据数据挖掘当中作为一个佼佼者迅速发展。本文主要研究传统的数据挖掘算法如何与Map Reduce计算模型有效地在云数据中结合起来。给当今云数据挖掘模型做出了较好的阐述。

关键词：云数据数据挖掘分布储存系统 Map Reduce