基于Hadoop生态的农产品价格预测分析系统的设计与研究

作     者：黄文泽 

作者单位：武汉轻工大学 

学位级别：硕士

导师姓名：吕强

授予年度：2022年

学科分类：12[管理学] 120301[管理学-农业经济管理] 1203[管理学-农林经济管理] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：大数据 农产品价格 数据预测分析 Hadoop 

摘      要：农业是我们国家经济的基础,目前,我国的农业生产和市场存在一定程度的脱节,需要科学、合理的依据,来促进农业生产决策的有效制定。本文基于大数据以农产品价格信息为主体,对农产品价格走势进行预测,并对农产品价格影响因素进行分析,寻找更适合我国农业生产决策的大数据分析处理方法,以期利用现有的大数据技术提高农业生产决策的科学性。本文基于大数据,设计并实现了农产品价格的预测分析流程。首先,利用网络爬虫工具对我国农业网站上的农产品价格信息进行爬取,然后,采用Hadoop生态相关技术搭建农产品价格大数据平台,克服了传统技术对海量数据存储的不足,最后,利用时间序列预测算法对农产品价格进行预测分析。本文搭建的农产品价格大数据平台都是采用开源框架实现,其中大数据采集选用Python爬虫技术,大数据平台选用Hadoop,以HDFS、HBase和Hive作为存储系统,Map Reduce作为并行离线计算框架,并使用Sqoop实现Mysql到大数据平台的数据导入导出。利用算法模型对猪肉价格进行对比预测分析,并分析猪肉价格波动的影响因素,构建适用于大数据场景的猪肉价格预测分析流程。通过对二次指数平滑法和Holt-Winters方法预测结果进行对比验证发现,Holt-Winters方法预测的结果均方根误差和平均百分比误差均更小,预测效果更加显著。最后,利用Holt-Winters方法进行猪肉价格趋势预测分析,得到猪肉的价格预测信息,该信息可为生猪养殖的决策制定提供依据。