基于Hadoop的农产品质量监控平台及资源调度算法的研究

作     者：王健飞 

作者单位：南京工业大学 

学位级别：硕士

导师姓名：潘郁

授予年度：2016年

学科分类：02[经济学] 0202[经济学-应用经济学] 

主      题：云计算 安全监控 Hadoop 资源调度 MapReduce 

摘      要：近年来,农产品质量安全问题屡见不鲜,已经引起了社会广泛关注,农产品质量安全监控体系的构建迫在眉睫。通过农村信息化监管平台的建设可以有效地对农产品质量安全进行监管,传统的相关技术在后端采用单节点数据库的方式对监管数据进行采集与处理,遇到海量数据时处理和响应速度都变得非常慢,很难突破当前对农产品质量监管过程中遇到的性能瓶颈,在实际中并不可行。因此,将当下云计算的相关技术应用于农产品监管平台之上并系统地提出构建基于云计算的农产品安全监管平台的整体框架及其资源调度策略成了文本需要重点研究的问题。为了构建农产品安全监控平台的整体框架,本文分层介绍了平台在各层的功能以及相关技术实现手段,对平台的数据存储和分布式处理作了详细设计,同时,设计了用于监测农产品的超标属性指标的函数。紧接着,针对农产品数据的存储与处理,将Hadoop并行处理框架与分布式存储系统应用于农产品监管平台之上系统地研究比较了先入先出、公平调度以及计算能力调度策略的各自优缺点,基于农产品安全监管平台的实际运行环境,在三大调度策略的改进之上提出一种在运行时自适应调整(RDA)调度策略,并针对该调度策略作了具体的实现。对比Hadoop的三大调度算法,它改进了原先对于落后任务的判定方式,使得推测式执行更加精准,并且针对多作业多任务的环境之下,在运行时自动调整作业队列的大小,动态调整整个集群的负载水平,将集群的工作节点分成适于处理Map任务以及适于处理Reduce任务的两大类,使得任务执行更加高效。仿真测试结果表明,在多作业多任务以及异构的集群环境下,自适应资源调度算法的性能要大幅领先于其它三种资源调度策略,针对农产品安全监控平台具有很强的适用性和先进性。本文提出了将云计算技术应用于农产品安全监控平台之上的构建方案,使得对于农产品质量的监控反馈更加及时与精准。提出了用于Map-Reduce对农产品质量数据进行监测预警的处理函数,使得监测更加高效。同时,在Hadoop自身调度算法的基础之上进行了改进,设计了应用于平台监测过程中RDA运行时动态调整的调度策略,使得平台整体运作的资源利用率更高。本文的研究为农产品质量安全预警体系的构建提供了一定的技术层面的支撑。