MapReduce模型在大规模数据并行挖掘中的应用
The Application of MapReduce Model in Large-Scale Data Parallel Mining作者机构：常德职业技术学院湖南常德415000
出 版 物：《智能物联技术》 (Technology of Io T& AI)
年 卷 期：2024年第56卷第2期
页 面：38-42页
学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）]
基 金：2022年湖南省教育厅科学研究项目(22C0733) 2022年常德市科技局创新指导性计划项目(2022ZD04)
主 题：MapReduce 大规模数据 并行挖掘 TeraSort
摘 要：MapReduce并行编程模型通过定义良好的接口和运行支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度。系统阐述MapReduce的基本工作原理及其工作流程,以TeraSort算法为例,针对其存在的问题,提出动态数据分区和数据压缩等优化建议。研究成果表明,优化后的TeraSort算法能够显著缩短数据处理时间,优化系统的吞吐量,并改善资源分配的均衡性。
维普期刊数据库
同方期刊数据库