检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于平均词频的文本特征提取方法

计算机应用与软件 2013年第10期30卷 243-245页

作者：成松松艾丽蓉西北工业大学计算机学院陕西西安710129

文本分类中特征提取对分类效果有较大的影响,传统的特征提取方法在特征分布信息的量化方面存在不足。为此,提出一种基于特征词类内、类外平均词频的特征提取算法。算法通过特征词的平均词频类间集中度和文档频类间集中度来计算特征词的... 详细信息

文本分类中特征提取对分类效果有较大的影响,传统的特征提取方法在特征分布信息的量化方面存在不足。为此,提出一种基于特征词类内、类外平均词频的特征提取算法。算法通过特征词的平均词频类间集中度和文档频类间集中度来计算特征词的权重,能够更准确地反映特征词的分布情况。通过实验结果比较,可以证明,该算法有效地提高了分类效果。

关键词：文本分类特征提取平均词频类间集中度

在线全文

学校读者我要写书评

暂无评论

文本分类中信息增益特征选择方法的研究

计算机工程与应用 2012年第27期48卷 119-122,127页

作者：郭亚维刘晓霞西北大学信息科学与技术学院西安710127

分析了传统信息增益(IG)特征选择方法忽略了特征项在类间、类内分布信息的缺点,引入类内分散度、类间集中度等因素,区分与类强相关的特征;针对传统信息增益(IG)特征选择方法没有很好组合正相关特征和负相关特征的问题,引入比例因子来平... 详细信息

分析了传统信息增益(IG)特征选择方法忽略了特征项在类间、类内分布信息的缺点,引入类内分散度、类间集中度等因素,区分与类强相关的特征;针对传统信息增益(IG)特征选择方法没有很好组合正相关特征和负相关特征的问题,引入比例因子来平衡特征出现和不出现时的信息量,降低在不平衡语料集上负相关特征的比例,提高分类效果。通过实验证明了改进的信息增益特征选择方法的有效性和可行性。

关键词：文本分类信息增益特征选择类内分散度类间集中度比例因子

在线全文

学校读者我要写书评

暂无评论

一种基于最少出现文档频的文本特征提取方法

计算机工程与应用 2012年第10期48卷 164-166,178页

作者：苏丹周明全王学松任玉芝北京师范大学信息科学与技术学院北京100875

传统特征提取改进方法在特征分布信息的量化方面存在不足,很大程度上影响了其分类效能。针对这一问题,提出一种基于最少出现文档频的特征提取改进方法,即TF-LDF算法。该算法用最少出现文档频来量化特征类间集中度与类内离散度,能够更加... 详细信息

传统特征提取改进方法在特征分布信息的量化方面存在不足,很大程度上影响了其分类效能。针对这一问题,提出一种基于最少出现文档频的特征提取改进方法,即TF-LDF算法。该算法用最少出现文档频来量化特征类间集中度与类内离散度,能够更加准确地反映特征分布情况。通过实验结果比较,可以证明TF-LDF算法分类效果更佳。

关键词：特征提取特征分布类间集中度类内离散度文档-最少出现文档频率(TF-LDF)

在线全文

学校读者我要写书评

暂无评论

文本分类中特征选择和特征加权算法的研究

文本分类中特征选择和特征加权算法的研究

作者：杜同森北京邮电大学

学位级别：硕士

随着互联网的高速发展,人们可获取的数据量不断增大,大部分的数据是文本格式的数据,如何快速、准确、全面的从大量的数据中寻找到所需要的信息内容,已经成为了一项十分有意义的课题。文本分类可以对这些大量的文本数据进行组织和处理,... 详细信息

随着互联网的高速发展,人们可获取的数据量不断增大,大部分的数据是文本格式的数据,如何快速、准确、全面的从大量的数据中寻找到所需要的信息内容,已经成为了一项十分有意义的课题。文本分类可以对这些大量的文本数据进行组织和处理,目前在很多领域已经得到了广泛的应用。文本分类是一个复杂的系统工程,本文在分析和总结文本分类中文本表示模型、文本预处理、特征选择、特征加权、分类方法和分类性能评估的基础上,对特征选择和特征加权进行了深入研究。主要完成了以下工作：1.特征选择是文本分类过程中的一个重要环节,它不仅可以提高分类器的速度,节省存储空间,还能过滤一些无关特征,减少无关特征对文本分类的干扰。本文对目前常用的特征选择算法进行了详细的研究,通过比较得出了这些算法的优缺点。重点分析了其中的期望交叉熵算法,针对它的不足,并结合特征词的类间集中度、类内分散度,提出了一种基于类间集中度和类内分散度的期望交叉熵算法,将特征项在类间和类内分布的均匀程度有机地结合在一起,并通过实验证明,改进后的期望交叉熵算法有效提高了分类的准确性。2.特征加权可以对文本特征集合中的每个特征赋予不同的权重,类别区分能力较强的特征词的权重就较高,类比区分能力较弱的特征词的权重就较低。本文研究了经典的特征加权算法TF-IDF,并基于类间集中度和类内分散度对传统TF-IDF算法进行了改进,通过实验证明,改进后的TF-IDF算法有效提高了分类的准确性。3.设计并实现了中文文本分类实验平台,设计了三组实验对本文提出的基于类间集中度和类内分散度的期望交叉熵算法和改进后的TF-IDF-CD算法的有效性进行对比验证。实验结果表明基于类间集中度和类内分散度的期望交叉熵算法和TF-IDF-CD算法的分类效果比传统的期望交叉熵算法和TF-IDF算法更加优秀。

关键词：文本分类特征选择特征加权类间集中度类内分散度

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于词典与改进信息增益的微博情感分析

基于词典与改进信息增益的微博情感分析

作者：李凯安徽理工大学

学位级别：硕士

随着计算机与网络技术的发展日新月异,社交媒体与网络平台已然成为人们获取、发布、共享、传播信息的载体。这些信息对于政府与企业进行网络舆情监控、电子商务等都具有重要的社会意义与商业价值。本文以新浪微博平台中的人们所发布的... 详细信息

随着计算机与网络技术的发展日新月异,社交媒体与网络平台已然成为人们获取、发布、共享、传播信息的载体。这些信息对于政府与企业进行网络舆情监控、电子商务等都具有重要的社会意义与商业价值。本文以新浪微博平台中的人们所发布的语料信息为研究对象,重点研究分析了情感分析任务中基于情感词典与基于机器学习的两种方法。主要研究内容如下:1.针对现有的情感词典由于对网络新词的涵盖率较低而无法应用于微博领域的情感分析问题,本文搜集了当前现有的一些基础情感词典,网络情感词典与表情符号库,并在去重后构造了基础综合情感词典。针对SO-PMI算法中共现窗口大小与语料库规模对算法效果产生不利影响等问题,本文提出了使用距离互信息与古德-图灵平滑方法来对SO-PMI算法进行优化,并利用改进后的SO-PMI算法来扩展基于微博领域的情感词典。通过实验对比综合基础情感词典、基于传统SO-PMI算法扩展的情感词典、基于拉普拉斯平滑的SO-PMI算法扩展的情感词典以及本文所构建的中文微博综合情感词典,使用本文所构建的情感词典进行情感分析的效果皆好于其他三种情感词典。2.研究分析了常用的特征选择算法并着重研究了信息增益算法。针对传统信息增益算法中没有考虑特征项在类内与类间分布情况以及没有平衡正相关特征项与负相关特征项的比例等的问题,提出了类间集中度与类内分散度并以此来提高特征项对类别的区分效果。借鉴卡方统计量的方法求两者最大值以此来将类间集中度与类内分散度的计算应用于整个语料库,并引入比例因子来降低负相关特征项所带来的不利影响,提高了正相关特征项的比例。通过实验对比基于传统信息增益算法与本文所改进的信息增益算法,利用本文所改进的信息增益算法在微博情感分析中的效果好于传统信息增益算法。3.本文将整合成的中文微博综合情感词典与改进的信息增益算法结合来对特征选择这个过程进行优化。该方法结合了两者的优点,对特征项的降维效果明显好于两者单独使用的情况。图[16]表[10]参[53]。

关键词：情感词典 SO-PMI算法古德-图灵平滑机器学习类间集中度类内分散度