检索结果-南通市图书馆

办公室业务 2018年第17期 185-185,191页

作者：云雅海南医学院

hadoop系统在新型数字档案馆中的应用,对于数字档案馆建设起到了重要的支撑作用。本文结合新型数字档案馆中的技术特征,开展了hadoop技术支持下的各功能系统构建研究。

关键词： hadoop系统数字档案馆系统建设

在线全文

学校读者我要写书评

暂无评论

hadoop海量数据迁移系统开发及应用

计算机工程与应用 2019年第13期55卷 66-71页

作者：尹乔魏占辰黄秋兰孙功星石京燕中国科学院高能物理研究所北京100049 中国科学院大学北京100049

当前高能物理实验产生的数据量越来越大,利用大数据处理平台hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计... 详细信息

当前高能物理实验产生的数据量越来越大,利用大数据处理平台hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求。

关键词：高能物理数据迁移 GridFTP协议动态优先级调度多属性决策 hadoop系统

面向hadoop存储系统的节能优化技术研究

在线全文

学校读者我要写书评

暂无评论

面向Hadoop存储系统的节能优化技术研究

作者：刘晨光华中科技大学

学位级别：硕士

近年来，基于云计算的互联网服务不断涌现，其中MapReduce计算范式和HDFS分布式文件系统已逐渐成为开发大型数据密集型应用的首选模型。从硬件供应商的角度，这类应用部署的规模如此巨大，降低服务集群的功率消耗既可以显著降低运营成... 详细信息

近年来，基于云计算的互联网服务不断涌现，其中MapReduce计算范式和HDFS分布式文件系统已逐渐成为开发大型数据密集型应用的首选模型。从硬件供应商的角度，这类应用部署的规模如此巨大，降低服务集群的功率消耗既可以显著降低运营成本，又能降低碳排放量，从而提高整体能效。在传统服务器节能策略的基础上，针对提供MapReduce作业服务的集群，提出一种节能优化算法。该算法能根据集群当前整体和局部的工作负载动态地重构节点或节点上的数据;同时，控制数据放置策略很好的支持上述操作。该节能优化算法具备了节能效果明显、实时性高以及负载均衡开销小等特性，可应用于数据密集型计算集群和企业数据中心等环境中。具体地，实现节能优化的能耗控制系统由数据分发模块、节点失效模块和能耗调节模块三个组件组成。数据分发模块通过对HDFS数据块分发和对应副本放置流程进行修改，实现人为控制数据块号到DataNode节点映射;节点失效模块使得HDFS具备容忍节点增加/缺失的功能;能耗调节器是提高能效的核心，包含两个线程，分别对应两种算法：dilution和enrichment。在集群的某个机架利用率高于管理员预定的阈值时，能耗调节模块会根据dilution算法适时地添加新节点，并将附近节点上的数据迁移到新节点上;当集群出现某个机架的利用率偏低时，能耗调节器可依据enrichment算法移除目标节点，并其上的数据迁移到附近节点上。从而，实现系统当前工作负载与系统性能的动态匹配。在最终测试方面，利用GridSim Toolkit对节能优化算法从功能和节能效果两个方面进行了测试和评估，前者主要验证了enrichment和dilution算法是否能在集群负载变化时重构节点或者数据;后者着重测试了在平均负载和低负载条件下节能的效果，并与传统Covering Set技术进行了比较。实验结果表明提出的节能优化算法在MapReduce计算中高负载情况下能达到30.32%的节能效果，在低负载情况下能达到69.77%的节能效果。

关键词：节能存储 hadoop系统数据布局节点映射策略

基于hadoop的实验室数据管理系统的实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2014年第4期 39-40,45页

作者：管莹李佳音河北省秦皇岛市东北大学秦皇岛分校计算机与通信工程学院河北秦皇岛066004

构建基于hadoop的实验室数据管理系统,实现了云计算带来的补偿与分析支持服务,解决了多种数据类型查询不便的问题,也对云计算在教育科研领域的应用进行了尝试性的探索,为将来大规模应用云服务奠定了可靠的基础。

关键词：云计算 hadoop系统数据挖掘

在线全文

学校读者我要写书评

暂无评论

基于hadoop的港口物流大数据应用研究

燕山大学学报 2023年第3期47卷 216-220,228页

作者：王妍妍王艳宁刘佳新任家东燕山大学经济管理学院河北秦皇岛066004 燕山大学理学院河北秦皇岛066004 燕山大学信息科学与工程学院河北秦皇岛066004

物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map... 详细信息

物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map对各个数据块完成初始聚类,并在Reduce上基于核心点扩展类融合形成最终聚类结果,以此提高大数据应用的效率。通过应用大数据对港口企业进行全面管理,为企业决策提供有效支持。

关键词：大数据 hadoop系统熵 MapReduce模型 DBSCAN算法

维普期刊数据库博看期刊

基于磁盘I/O性能的hadoop任务选择策略

在线全文

学校读者我要写书评

暂无评论

计算机工程 2016年第11期42卷 76-82页

作者：李强孙震宇雷晓凤孙功星中国科学院高能物理研究所北京100049 中国科学院大学北京100049

最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,... 详细信息

最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到hadoop的调度器中。同时为进一步提升hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

关键词： hadoop系统调度算法数据本地性任务选择策略磁盘负载 I/O性能

基于hadoop的高校图书馆数字资源整合利用研究

在线全文

学校读者我要写书评

暂无评论

图书馆工作与研究 2018年第3期 74-78+101页

作者：曹健秦荣环孙会清毕长泉华北理工大学图书馆

本文通过文献综述法,分析了国内外高校图书馆数字资源大数据分析的现状,研究了基于hadoop的高校图书馆数字资源大数据分析系统,详细介绍了该系统基础数据集成、读者标签化、资源分析、业务分析以及系统综合管理等五个组成部分的功能设... 详细信息

本文通过文献综述法,分析了国内外高校图书馆数字资源大数据分析的现状,研究了基于hadoop的高校图书馆数字资源大数据分析系统,详细介绍了该系统基础数据集成、读者标签化、资源分析、业务分析以及系统综合管理等五个组成部分的功能设计。高校图书馆数字资源大数据分析系统可以多维度、多层次的进行数据分析,发现数据之间的潜在关系,深度挖掘数据价值,通过资源聚类与标签,可以合理配置热点数字资源。

关键词：高校图书馆数据资源 hadoop系统

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

大数据时代的石油地震勘探系统与软件平台

科技导报 2017年第15期35卷 57-62页

作者：谢玮刘斌刘鑫李玉翟焱森中国地质大学(北京)地球物理与信息技术学院北京100083 中国石化石油工程地球物理有限公司胜利分公司东营257086 中国石化华北油气分公司采油气工程服务中心咸阳712000

石油勘探开发精度的不断提高,促进了低频可控震源、宽频带、宽方位、高密度和高效采集技术的推广应用,石油地震勘探已进入了大数据时代,对质量监控、数据处理、数据安全存储和管理带来了新的挑战。本文分析了石油地震勘探大数据的特点,... 详细信息

石油勘探开发精度的不断提高,促进了低频可控震源、宽频带、宽方位、高密度和高效采集技术的推广应用,石油地震勘探已进入了大数据时代,对质量监控、数据处理、数据安全存储和管理带来了新的挑战。本文分析了石油地震勘探大数据的特点,阐述了中国石化基于hadoop分布式大数据处理系统研发的π-Frame地震数据处理解释软件平台基本构架,举例说明了该平台在石油地震勘探大数据中的应用,对其发展前景进行展望。

关键词：石油地震勘探大数据 hadoop系统地震数据处理解释软件平台

在线全文

学校读者我要写书评

暂无评论

云计算与大数据体系下的审计模式转变

财会月刊 2016年第2期 68-70页

作者：谢志明蔡琴李俊杰汕尾职业技术学院信息工程系广东汕尾516600 汕尾市创新工业设计研究院广东汕尾516600 汕尾市审计局广东汕尾516600

时下正在兴起的云计算与大数据技术给传统的审计技术和方法提供了新的发展方向,同时也对审计组织和审计人员提出了新的挑战。面对无规律的海量电子审计数据,如何才能快速准确地从这些数据中挖掘出有价值的信息是现代审计学重要的研究课... 详细信息

时下正在兴起的云计算与大数据技术给传统的审计技术和方法提供了新的发展方向,同时也对审计组织和审计人员提出了新的挑战。面对无规律的海量电子审计数据,如何才能快速准确地从这些数据中挖掘出有价值的信息是现代审计学重要的研究课题。本文依据上述情形提出了将此类数据交付于hadoop系统进行并行化处理,以提高数据利用率和数据挖掘效率,更好地指导行业和被审计单位的经营和管理,提高审计服务工作效率。

关键词：云计算大数据审计 hadoop系统

在线全文

学校读者我要写书评

暂无评论

大数据hadoop框架核心技术对比与实现

实验室研究与探索 2021年第2期40卷 145-148,176页

作者：张国华叶苗王自然周婷婷南京师范大学泰州学院信息工程学院江苏泰州225300

大数据技术平台有很多,最为流行的是hadoop生态系统,而hadoop生态系统涉及的技术繁杂,最为核心是HDFS和MapReduce,前者实现的是分布式存储,后者实现的分布式并行处理,而后又出现了Spark、Hive、Pig等技术,给很多初学者理解和掌握大数据... 详细信息

大数据技术平台有很多,最为流行的是hadoop生态系统,而hadoop生态系统涉及的技术繁杂,最为核心是HDFS和MapReduce,前者实现的是分布式存储,后者实现的分布式并行处理,而后又出现了Spark、Hive、Pig等技术,给很多初学者理解和掌握大数据平台造成了困难。为了帮助区分这些技术的用途、优势以及之间的关联性,选择合适技术来解决大数据的计算和存储问题。以经典的WordCount程序为例,在伪分布式集群上使用不同的技术来实现该程序,且易于被还原,通过对实验流程、核心代码、适用场景进行分析研究,总结每种技术的优势和特点,理顺大数据关键技术之间的关系。

关键词： WordCount程序 hadoop系统分布式计算