基于云平台的土壤养分数据挖掘的研究 ——以明光市为例

作     者：林坡 

作者单位：安徽农业大学 

学位级别：硕士

导师姓名：马友华

授予年度：2017年

学科分类：09[农学] 0903[农学-农业资源与环境] 090301[农学-土壤学] 

主      题：Hadoop 土壤养分数据 加权模糊C 

摘      要：在现代计算机信息技术的发展前提下,农业现代化水平在不断地提高,农业领域的数据也在爆炸式增长,逐渐形成数据类型多样、动态、复杂的农业大数据。土壤养分数据作为农业大数据的重要内容,分析土壤养分数据并结合数据挖掘算法探索分析土壤中的养分状况,有利于对土壤养分管理。本文以安徽省明光市作为研究区域,收集其自2005年到2015年测土配方施肥土壤养分采样点数据,在ARCGIS中转化成点,并与耕地管理单元相叠加,建立属性库。在Hadoop云平台上结合IDE编程软件Eclipse实现MapReduce机制,对土壤养分属性数据进行预处理,为土壤养分数据挖掘做数据仓库准备。使用聚类分析算法模糊C并在其基础上进行属性加权分析。研究结果表明:(1)在Linux操作系统上搭建Hadoop云平台。在IDE编程软件Eclipse基础上,应用MapReduce分布式数据处理机制对土壤养分数据进行数据预处理,定义map函数处理Key-Value对并生成中间键值对,对同一数据集每个目标进行并行操作。在此阶段提取处理后的土壤养分键值对数据,并以文本形式导出为土壤养分模糊C算法作数据支持。(2)使用典型的聚类算法模糊C对安徽省明光市2005年到2015年土壤养分数据进行分析,在幂指数不变的情况下,使用目标函数进行数据集优化并建立模糊矩阵,再进行分别对土壤养分元素全氮、有效磷、速效钾进行聚类划分。在传统模糊C算法基础,应用层次分析法对各土壤养分元素进行权重求取,并进行加权模糊C算法分析。对预处理的土壤养分数据进行加权模糊C算法分析后,目标函数值降低了约百分之三十,聚类效果得到提升。(3)土壤养分数据在经过未加权后的模糊C算法分析后,与空间变异属性加权的模糊C算法分类结果对比,后者较前者的分类结果数相似度明显加强,土壤养分数据类别相似度随年份逐渐靠近,说明安徽省明光市土壤养分空间变异性减小,年度土壤养分差异减少,经过多年科学施肥指导,耕地养分状况得到改善,为农业工作者分析近几年来土壤养分状况作参考,为耕地施肥区域管理作依据。另外说明在众多聚类算法中,模糊C算法有利于土壤养分趋势状况评价,为进一步算法改进做指导。本研究对土壤养分数据进行分析处理,对评价和预测安徽省明光市土壤养分状况具有重要作用,对土壤养分数据以及其他类别的大规模数据数据挖掘具有参考价值,并对农业可持续发展具有重要意义。