不完全数据填充算法的研究与应用

作     者：刘思谦 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：陈志奎

授予年度：2017年

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

主      题：不完全数据 深度信念网络 核函数 数据填充 

摘      要：随着互联网和人工智能的不断发展与深化,数据正以指数级的姿态爆发。但由于各种原因导致这些数据中存在大量的不完全数据,直接影响进一步的数据分析与挖掘,使得数据无法最大化的发挥其价值。因此对不完全数据填充的研究具有极其重要的意义。传统的单次数据填充算法用全部数据集进行填充,这在提高了计算量同时又没有考虑数据间的相关性,并且大部分算法无法直接对缺失数据进行特征提取;而对于迭代式填充算法,大多又存在收敛慢,精度不够高等问题。针对以上问题,文本先提出了一种基于深度信念网络的不完全数据填充算法,用降噪的深度信念网络直接从不完全数据提取出具有一定鲁棒性的特征。再用这些特征进行聚类,在每个类内使用共现矩阵和部分距离策略对数据进行举手表决,最后将得分转换成权重进行加权填充。然后本文又提出了一种基于多核估计的不完全数据填充算法,它是一种迭代式填充算法,针对离散属性构建核函数,并对连续属性构建多个核函数的估计器,进而得到混合属性的多核估计器。同时,为了提高算法收敛速度,使用部分距离策略对缺失值进行预填充。最后使用核估计器对缺失值进行迭代填充。在文章的最后,通过对本文算法进行适配与优化,将其应用到了美国进出口贸易数据的填充与规范当中。通过验证分析,其填充准确率高达85%。从实验结果中可以得出,本文提出的算法在保证准确率的同时提高填充精度,满足学术研究的要求与工业应用的标准。具有一定的理论与应用价值。