检索结果-南通市图书馆

基于DF和chi的联合特征提取方法及其应用

在线全文

学校读者我要写书评

暂无评论

北京工业大学学报 2008年第9期34卷 995-1000页

作者：李玉鑑周兰珍操卫平北京工业大学计算机学院北京100022

分析了与类别信息有关的chi统计特征选取方法和与类别无关的文档频率特征选取方法,在此基础上提出文档频率与chi统计相结合的特征提取方法,以选取分类能力强的词项特征,从而提高网页分类效果.以该联合特征提取方法为基础构建的网页分类... 详细信息

分析了与类别信息有关的chi统计特征选取方法和与类别无关的文档频率特征选取方法,在此基础上提出文档频率与chi统计相结合的特征提取方法,以选取分类能力强的词项特征,从而提高网页分类效果.以该联合特征提取方法为基础构建的网页分类系统,在参加SEWM2007分类评测的8个代表队中,取得Macro-F1值排名第3的成绩.

关键词：文档频率 chi统计联合特征选取网页分类

在线全文

学校读者我要写书评

暂无评论

文本分类中改进型chi特征选择方法的研究

计算机工程与应用 2011年第4期47卷 128-130,194页

作者：裴英博刘晓霞西北大学信息科学与技术学院西安710127

分析了影响传统chi统计方法分类精度的因素,去除了特征项与类别负相关的情况。同时将改进后的方法用于特征词的权重调整,使其分类效果有了明显提高;将分散度、集中度、频度等因素引入到改进后的方法中,提高了其在类分布不均匀语料集上... 详细信息

分析了影响传统chi统计方法分类精度的因素,去除了特征项与类别负相关的情况。同时将改进后的方法用于特征词的权重调整,使其分类效果有了明显提高;将分散度、集中度、频度等因素引入到改进后的方法中,提高了其在类分布不均匀语料集上的分类精确度。最后通过实验证明了该方法的有效性和可行性。

关键词：文本分类特征选择 chi统计权值调整分散度集中度频度

在线全文

学校读者我要写书评

暂无评论

一种基于词聚类的中文文本主题抽取方法

计算机应用 2005年第4期25卷 754-756页

作者：陈炯张永奎山西大学计算机与信息技术学院

提出了一种基于词聚类的中文文本主题抽取方法,该方法利用相关度对词的共现进行分析,建立词之间的语义关联,并生成代表某一主题概念的用种子词表示的词类。对于给定文档,先进行特征词抽取,再借助词类生成该文档的主题因子,最后按... 详细信息

提出了一种基于词聚类的中文文本主题抽取方法,该方法利用相关度对词的共现进行分析,建立词之间的语义关联,并生成代表某一主题概念的用种子词表示的词类。对于给定文档,先进行特征词抽取,再借助词类生成该文档的主题因子,最后按权重输出主题因子,作为文本的主题。实验结果表明,该方法具有较高的抽准率。

关键词：主题抽取词聚类种子词主题因子信息论词同现 chi统计

在线全文

学校读者我要写书评

暂无评论

一种面向中文敏感网页识别的文本分类方法

测控技术 2011年第5期30卷 27-31,40页

作者：陈欣张菁李晓光卓力北京工业大学信号与信息处理研究室北京100124

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分。为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算... 详细信息

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分。为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算法,据此建立了含300个停用词的停用词表;采用开方拟合检验统计量方法作为特征选择方法,并确定了400维的特征词库。根据开方拟合统计量特征选择方法与朴素贝叶斯分类器的特点,加入待分类网页文本中所含特征项数目与特征集维数的比值以及特征项数目与文本所含词汇数目的比值两个影响因子,对朴素贝叶斯分类器进行了改进。考虑到不同的人群对敏感概念的主观理解差异较大,将待识别网页的敏感度值作为分类器的输出。实验结果表明,与现有的文本分类方法相比,所提出的文本分类方法可以获得更好的识别效果。

关键词：中文敏感网页识别新词识别停用词表建立 chi统计朴素贝叶斯分类器

在线全文

学校读者我要写书评

暂无评论

不均衡数据在股票研报分类中的应用

计算机应用研究 2017年第3期34卷 769-772,780页

作者：彭敏张凯朱佳晖武汉大学计算机学院武汉430072

股票研报是由金融行业分析师对股票相关新闻作出的分析和评价,它从专业角度分析此类新闻是否会对某股票的未来走势产生影响,并提出专业投资建议,往往比论坛分析更具权威性。然而,各类别研报数量之间的严重不均衡性致使常规的SVM分类效... 详细信息

股票研报是由金融行业分析师对股票相关新闻作出的分析和评价,它从专业角度分析此类新闻是否会对某股票的未来走势产生影响,并提出专业投资建议,往往比论坛分析更具权威性。然而,各类别研报数量之间的严重不均衡性致使常规的SVM分类效果较差。为提高分类效果,提出一种新的不均衡数据分类方法。在文本特征项选择方面采用组合特征思想以选择更具语义信息的特征短语,并改进chi统计以提高对少数类样本特征项的选择,然后设计一个基于SVM聚类的边界自适应层次欠采样算法对多数类样本进行层次欠采样。实验结果表明,该方法能够在不影响多数类分类的基础上对少数类的分类效果有较为明显的提升。

关键词：不均衡数据股票研报 chi统计 SVM算法层次欠采样

在线全文

学校读者我要写书评

暂无评论

不均衡数据集上文本分类方法研究

计算机工程与应用 2013年第20期49卷 118-121页

作者：谢娜娜房斌吴磊重庆大学计算机学院重庆400030

文本分类中数据集的不均衡问题是一个在实际应用中普遍存在的问题。从特征选择优化和分类器性能提升两方面出发,提出了一种组合的不均衡数据集文本分类方法。在特征选择方面,综合考虑特征项与类别的正负相关特性及类别区分强度对传统CH... 详细信息

文本分类中数据集的不均衡问题是一个在实际应用中普遍存在的问题。从特征选择优化和分类器性能提升两方面出发,提出了一种组合的不均衡数据集文本分类方法。在特征选择方面,综合考虑特征项与类别的正负相关特性及类别区分强度对传统chi统计特征选择方法予以改进。在数据层上,采用数据重取样方法对不均衡训练语料的不平衡性过滤减少其对分类性能的影响。实验结果表明该方法对不均衡数据集上文本可达到较好分类效果。

关键词：特征选择 chi统计文本分类不均衡数据集重取样

在线全文

学校读者我要写书评

暂无评论

中文文本分类中特征选择方法的研究与实现

中文文本分类中特征选择方法的研究与实现

作者：裴英博西北大学

学位级别：硕士

特征选择在整个中文文本分类过程中具有重要作用。国内现有的对于特征选择方法的研究主要关注于各特征选择方法在类分布均匀语料集上的分类效果。本文针对中文文本分类中一些特征选择方法在类分布不均匀语料集上,分类效果大幅下降的问题... 详细信息

特征选择在整个中文文本分类过程中具有重要作用。国内现有的对于特征选择方法的研究主要关注于各特征选择方法在类分布均匀语料集上的分类效果。本文针对中文文本分类中一些特征选择方法在类分布不均匀语料集上,分类效果大幅下降的问题,在国内现有研究的基础上,分析和研究了影响其分类效果的主要因素,并提出了改进方案。在此基础上设计并实现了一个中文文本分类系统,为本文对中文文本分类的进一步研究提供了平台。主要工作有： 1)针对传统信息增益特征选择方法在类分布不均匀语料集上分类效果明显下降的情况,分析并指出了影响信息增益特征选择方法分类效果的因素。结合国内现有研究,在传统信息增益方法的基础上,去除了方法中特征词不出现情况对文本分类的贡献,同时将集中度、分散度等因素加入到特征选择中。为了进一步提高分类效果,又将改进型信息增益方法用于权重调整技术中。 2)针对传统chi统计特征选择方法对低频词倚重大的缺点,深入分析了其对低频词倚重大的原因。在传统chi特征选择方法的基础上,去除了方法中特征词与类别负相关的情况。为了进一步对改进后的方法进行分析和研究,又将改进后的方法引入到特征词权重调整技术中。与此同时,结合国内现有的关于chi统计特征选择方法的研究,将集中度、分散度、频度等因素引入到改进后的方法中,提高了该方法的分类效果。 3)为了实验和验证上述改进方法的分类效果,同时为进一步对中文文本分类的研究提供平台,设计和开发了一个中文文本分类系统。 4)为了进一步发现和探索中文文本分类中特征词权重调整方法中的问题和规律,在已开发的中文文本分类系统上对不同分类器不同语料集上各权重调整方法的分类效果进行了实验和总结。

关键词：文本分类特征选择权重调整信息增益 chi统计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微博情感分类算法研究

微博情感分类算法研究

作者：马莹长春工业大学

学位级别：硕士

如今,人们常常通过各种社交网站上发表的消息来了解当时的热点事件、社会舆论等。随着科技的快速发展,微博也逐渐普及,越来越多的人们开始通过微博来关注时事,从而使微博成为当今最流行的社交平台。在微博上,人们经常发表有关情感或观... 详细信息

如今,人们常常通过各种社交网站上发表的消息来了解当时的热点事件、社会舆论等。随着科技的快速发展,微博也逐渐普及,越来越多的人们开始通过微博来关注时事,从而使微博成为当今最流行的社交平台。在微博上,人们经常发表有关情感或观点的倾向性微博文本,而这种情感的分类会对电子商务、信息预测等方面产生潜在的价值,因此,对微博情感进行分类具有重要的意义。特征项的选择和特征权值的计算是文本分类过程中两个至关重要的环节,对文本分类的结果起关键性作用。为了克服传统的chi统计方法存在特征项出现频率与类别负相关的情况和某一个特征项存在于某一个文本中的概率问题,本文针对传统的chi统计方法引入了负相关判定、频度等重要因素进行了改进,并结合语义相似度的计算方法对TF-IDF算法进行了优化,在WEKA软件上采用了KNN(K-Nearest Neighbor)分类器和支持向量机(SVM)分类器分别对微博情感语料进行分类,该实验结果表明,新方法在文本分类的准确性上有明显的提高。针对于上述实验使用的KNN分类算法,为了减少传统的K-最近邻分类算法在时间复杂度与训练样本集数量成正比而导致计算量较大以及浪费大量时间的问题,本文利用K-medoids聚类算法对训练样本集进行了剪裁,去除了相似度程度较低的样本,然后结合Hadoop平台的MapReduce框架对传统的KNN分类算法、基于K-medoids改进的KNN分类算法以及本文提出的算法在时间方面对不等的测试样本集进行了并行化计算。实验结果表明:在运行时间方面,本文提出的算法比传统的KNN分类算法缩短了68%-82%,而且随着节点个数的增加,运行的时间也会减少,由此可见,本文提出的基于Hadoop平台改进的KNN分类算法明显的缩短了计算的时间,提高了算法的分类效率。

关键词：情感分类特征提取特征权值 chi统计 KNN分类

基于用户行为分析的网页分类系统的研究与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户行为分析的网页分类系统的研究与实现

作者：黄美宁北京邮电大学

学位级别：硕士

近年来,随着因特网飞速发展,网络上以网页为载体的各种文本信息大量涌现,网上信息量呈爆炸性增长。人们要找到自己所需要的信息犹如大海捞针,被动模式的搜索引擎已经不能满足用户的需求。如何以主动模式满足用户个性化的服务要求,成为... 详细信息

近年来,随着因特网飞速发展,网络上以网页为载体的各种文本信息大量涌现,网上信息量呈爆炸性增长。人们要找到自己所需要的信息犹如大海捞针,被动模式的搜索引擎已经不能满足用户的需求。如何以主动模式满足用户个性化的服务要求,成为新的网络服务系统面临的挑战性课题之一。本文基于用户行为分析和个性化服务的前提,针对网页分类技术中的关键技术进行研究和改进,最终实现了一个适应于网页分类的文本分类系统。本文主要研究的关键技术包括：第一,中文分词技术。本文对原有的分词方法进行研究,并提出了一种适合于网页文本特点的基于统计与最大匹配结合的分词算法,该方法能识别出网页中的新生词汇,且合并频繁出现的单字组合。改进的方法既避免了漏掉对分类有很大贡献的新生词汇,也通过合并单字减小了特征空间维数,降低了计算复杂度。第二,特征抽取和赋权技术。本文通过研究和考察特征选择算法和赋权算法,对普遍认为效果较好的chi统计方法进行了适合于网页分类的改进,提出了基于网页结构的chi统计特征选择算法和TD-IDF-chi赋权算法。实验结果表明,这两种预处理算法在一定程度上提高了分类精度。本文基于以上改进的算法实现了一个网页分类模块,同时也设计并实现了一个完整的用户行为分析系统,该系统主要包括三大模块：数据采集过滤模块、网页分类模块和结果统计模块。三大模块所完成的功能如下：第一,数据采集过滤模块。Web行为的用户属性信息存在于HTTP包的头部,要获得用户的信息就需要对HTTP包进行解析和信息提取。数据采集过滤模块中介绍了本文所设计实现的HTTP包解析的流程。第二,网页分类模块是本文主要的研究对象。该模块基于改进的分词算法、预处理算法和分类效果较好的KNN和SVM分类算法,实现了将网页映射到特定类别的过程。第三,结果统计模块。该模块总结并更新用户访问的网页的分类结果,并与个性化服务系统直接相连,将用户行为分析的结果直接应用于个性化广告反馈等服务中去。本文所研究并实现的基于用户行为分析的网页分类系统适用于网页在线分类和离线分类两种模式,实验结果表明,改进的预处理算法对分类准确度有很好的矫正,结果统计模块的设计也获得了较好的结果,充分反映了用户当前的兴趣,为个性化服务系统的研究提供了参考模型。

关键词：用户行为分析网页自动分类中文分词 chi统计 SVM