基于迁移学习的非结构化大数据缺失值插补算法

作     者：颜远海 杨莉云 YAN Yuanhai;YANG Liyun

作者机构：广州华商学院数据科学学院广东增城511300 

出 版 物：《吉林大学学报（信息科学版）》 (Journal of Jilin University（Information Science Edition）)

年 卷 期：2024年第42卷第2期

页      面：372-377页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：创新强校工程基金资助项目(2017KQNCX266) 

主　　题：迁移学习 非结构化大数据 缺失值插补 缺失值预测 核回归函数 

摘      要：针对数字信息产生的海量、多角度的非结构化大数据,由于外界干扰、数据结构损坏等因素造成其信息丢失问题,提出了基于迁移学习的非结构化大数据缺失值插补算法。通过迁移学习算法,预测非结构化大数据缺失部位,利用朴素贝叶斯算法分类数据特征,度量属性间权重值,明确数据类别特征差异向量,辨别特征差异程度。采用核回归模型对数据缺失部分实施非线性映射,经过多项式变化编码,描述数据的跨空间互补条件,完成非结构化大数据缺失值插补。实验结果表明,所提算法可以有效完成非结构化大数据缺失值插补,具有较好的插补效果,能提高插补精度。