低秩非负矩阵分解算法在聚类中的研究

作     者：王珊珊 

作者单位：扬州大学 

学位级别：硕士

导师姓名：徐晓华

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：降维 非负矩阵分解 低秩 图正则 聚类 

摘      要：随着数据收集技术的快速发展,高维数据,如在线文档、电子书、照片、社交媒体视频系列和健康数据,越来越普遍。因此,需要通用的计算方法来提取固有的低维信息。在大数据时代背景下,因图像数据高维复杂的层次结构,导致处理图像时存在许多难题,因而各种降维技术应运而生。近年来,非负矩阵分解由于其对非负结果的直接解释而引起了越来越多的关注。从技术上讲,非负矩阵分解试图识别两个非负矩阵的乘积,这两个矩阵提供了对原始矩阵的良好近似,可以有效地表达出局部与整体的关系。尽管非负矩阵分解在图像处理、聚类分析等下游任务中表现的十分出色,但其模型仍然存在以下问题:(1)现有的高维数据存在复杂噪声。(2)单层结构无法提取多级特征。(3)如何应用少量的监督信息提升聚类精度的问题,亟待解决。本文从非负矩阵分解相关学习任务的角度出发,分别提出了三个算法模型解决对应的三个问题。主要的研究工作和成果如下:(1)针对现有的高维数据存在噪声,而单一的非负矩阵分解模型无法分离出干净有效的数据空间这一问题,我们提出非光滑图正则化低秩非负矩阵分解。该算法先是利用低秩矩阵分解模型将原始数据集分解成低秩近似数据和噪声,然后对原始高维数据的低秩近似进行非光滑非负矩阵分解来获取基数据集和对应的低维表示。此外,为了保持原始高维数据的几何结构,我们对获得的特征数据构造图正则项以提高数据的鲁棒性。最后将低秩分解模型和带有图正则项的非光滑非负矩阵分解模型合并到平衡的模型框架中,获得最终的算法模型。与其他非负矩阵分解模型相比,我们所提的算法能减少特征空间的冗余信息,在图像数据集上展示了出色的聚类效果。(2)针对非负矩阵分解模型应用在高维数据上进行聚类时,因其单层结构无法在复杂图像中提取多级特征,故而无法挖掘构成高维数据的复杂交错特征这一问题,我们提出了深度非光滑图正则化低秩非负矩阵分解。为了进一步获得复杂的隐藏信息并保持高维数据的几何结构,我们结合深度非负矩阵分解模型,在原始数据集的低维空间中学习数据表示。在真实的数据集上的实验证明了我们所提模型可以有效掌握数据本身的特征结构,提高模型的可解释性。(3)针对非负矩阵分解模型作为典型的无监督学习方法,输入模型的数据没有任何标签,并且其算法在结束前不知道确切的输出,故而存在模型不精确,缺乏指导信息这一问题,我们提出半监督自适应图正则化低秩非负矩阵三分解。该算法在统一优化模型通过标签约束传播的思想利用部分标记的数据信息来提高模型准确性,通过非负矩阵三因子分解对原始数据进行处理得到经过低秩处理的特征信息,通过自适应构图保持数据的特征结构。此外,该算法可以引导同一预测标签的未标记数据映射到同一类中,增强了数据特征的表示辨别能力。同时,我们还设计了一种有效的迭代更新优化方案来求解所提出算法模型。大量实验结果表明,与其他几种最先进的非负矩阵分解变体方法进行比较,我们提出的方法有效地提高了聚类效果。