一种基于属性贡献度的K近邻算法及其在文本分类中应用

作     者：邱倩倩 

作者单位：南昌工程学院 

学位级别：硕士

导师姓名：邓少波;邬年华

授予年度：2023年

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：分类算法 K近邻算法 文本分类 特征加权 电商评论 

摘      要：随着信息技术和互联网的不断普及,各种新型媒介已经进入人们的日常生活,比如微博、微信、电子邮件等等。这些不同的媒介承载着不同类型的信息,使得人们在接触多元化信息时也面临着如何处理这些数据的问题。同时,在大数据时代,利用数据挖掘技术对电子商务平台的用户评论进行分析,将在商品智能推荐、文本分类等方面有广阔的发展前景。本文的主要研究内容如下:(1)经典K近邻算法在计算样本之间的相似度距离时,没有考虑到样本之间的相似性关系,这样计算得到的相似度距离会存在一定的误差,进而直接影响算法的分类性能。针对K近邻算法存在的这一不足,本文提出基于属性贡献率加权的K近邻算法。采用协方差矩阵计算样本属性的贡献度,将得到的特征值作为特征权重,用于近邻样本的相似度距离计算。该方法考虑到了样本属性之间的相似度关系对分类性能的影响。本文与经典K近邻算法和基于特征加权的K近邻算法进行对比实验,结果表明基于属性贡献率加权的K近邻算法在分类性能得到了提高。(2)本论文使用爬虫技术从互联网上的电商平台获取文本数据,采用分词、去除停顿词、词频统计等预处理方法。对预处理后的数据,利用K近邻算法、基于特征加权的K近邻算法和本文提出的基于属性贡献率加权的K近邻算法,建立相应的文本分类模型,验证算法的分类和验证能力。实验表明,本文算法有助于优化产品,帮助企业和商家提升线上市场的核心竞争力,更好的促进电商行业的发展。