基于Canopy的高维样本相似性度量及分组加权t-SNE改进算法

作     者：杜芬 

作者单位：昆明理工大学 

学位级别：硕士

导师姓名：王彬

授予年度：2019年

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：Canopy-tsne算法 分组加权 高维降维 奇异手写体数字 脑网络状态降维 

摘      要：随着数据规模的增大和数据复杂度的增加,高维数据的处理技术要求越来越高。其中高维数据的降维对于实现分类聚类、时序预测和关联性分析等有着重要意义。高维降维技术一般包括线性降维和非线性降维两种,其中t分布随机邻域嵌入(t-distributed stochastic neighbor embedding,t-SNE)算法是一种应用较为广泛的非线性降维方法,它的原理是计算高维空间内样本对之间的联合概率并与低维空间内样本对的联合概率进行匹配,从而实现数据从高维空间到低维空间的映射。在目前的研究中,由于在该算法的实现过程中研究人员较少考虑高维空间内样本间的实际分布状态,即无论高维空间内样本相似程度如何,都采用同一种概率算法,这影响了低维映射结果的区分度,使得聚类效果结果不够理想。针对这一问题,本文提出了一种基于Canopy的分组加权t-SNE算法,该算法首先对高维空间内样本的分布情况进行分析,使用Canopy算法进行高维样本相似程度的度量,在此基础上将高维空间样本的相似程度分为高相似程度、适中相似程度和低相似程度三组,并分别进行自适应加权后再计算高维空间内样本点之间的高维联合概率,从而更准确地反映高维空间内样本间的相似程度,以达到更好的降维效果。为了验证基于Canopy的分组加权t-SNE算法的降维效果,分别在两个应用领域展开了实验分析。基于Canopy的分组加权t-SNE算法在有监督数字手写体奇异类样本上的降维对比实验结果显示,与其它降维算法及传统t-SNE算法的降维效果相比,Canopy的分组加权t-SNE算法有效消除了类簇不紧凑,样本交叉等问题。降维后性能指标显示,数字手写体的查全率和查准率均比传统t-SNE算法得到了明显改善。基于Canopy的分组加权t-SNE算法在无监督脑网络状态观测矩阵上的降维对比实验结果显示,与其它降维算法及传统t-SNE算法的降维效果相比,Canopy的分组加权t-SNE有效的消除了脑网络状态的交叉和散点等问题。降维后的性能指标显示,脑网络状态聚类的戴维森堡丁指数、邓恩指数与轮廓系数均比传统t-SNE算法得到了明显改善。由此可见,无论是对于有监督的分类问题还是无监督的聚类问题,本文方法都获得了更好的降维效果,为高维数据降维方法提供了一种有效的解决方案。