检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

web文本分类中的标签权重自动优化研究

小型微型计算机系统 2016年第5期37卷 890-894页

作者：钟旭东黄章进顾乃杰张旭中国科学技术大学计算机科学技术学院合肥230027 中国科学技术大学安徽省计算与通信软件重点实验室合肥230027 中国科学技术大学先进技术研究院合肥230027

web文本分类是web数据挖掘的重要技术之一.为了利用HTML的半结构特性,现有的web文本分类技术多采用手工指定的方法,决定不同标签的权重系数.这种方法完全根据个人经验,未能充分利用样本集的结构特性,识别效果提升并不明显.针对这一问题... 详细信息

web文本分类是web数据挖掘的重要技术之一.为了利用HTML的半结构特性,现有的web文本分类技术多采用手工指定的方法,决定不同标签的权重系数.这种方法完全根据个人经验,未能充分利用样本集的结构特性,识别效果提升并不明显.针对这一问题,本文设计和实现了一种基于差分进化算法的web文本标签权重系数自动寻优方案,并对差分优化算法进行了改进,以提高其局部搜索能力.实验结果表明,该方案能充分利用样本集的特性并能有效地提高分类的准确率.

关键词： web文本分类自动权重调优差分进化算法半结构特征

在线全文

学校读者我要写书评

暂无评论

web文本分类中特征向量优化技术研究

web文本分类中特征向量优化技术研究

作者：王卫玲山东师范大学

学位级别：硕士

随着Internet的迅猛发展和日益普及，电子文本信息迅速膨胀，如何有效地组织和管理这些信息，并快速、准确、全面地从中找到用启所需要的信息是当前信息科学技术领域面临的一大挑战。文本分类作为处理和组织大量文本数据的关键技术，可... 详细信息

随着Internet的迅猛发展和日益普及，电子文本信息迅速膨胀，如何有效地组织和管理这些信息，并快速、准确、全面地从中找到用启所需要的信息是当前信息科学技术领域面临的一大挑战。文本分类作为处理和组织大量文本数据的关键技术，可以在较大程度上解决信息杂乱现象，方便用户准确地定位所需的信息。而且作为信息过滤、信息检索、搜索引擎、文本数据库、数字化图书馆等领域的技术基础，文本分类有着广泛的应用前景。要进行web文本分类，首先要做的就是对web文本数据进行数学描述，其中最常用的模型就是向量空间模型和潜在语义索引模型等。在向量空间模型中，每一个不同的单词都作为特征空间中的一维，每一个文本就是特征空间中的一个向量。潜在语义索引模型在最初对文本的描述上也与之类似。但是，这种描述方法引发了一个非常严重的问题，那就是高维稀疏，加之文本数据所特有的近义词、多义词等等问题，使得文本分类具有相当高的时间复杂度，而且这些问题也极大地干扰了分类算法的准确性，使得文本分类的性能急剧下降。因此，迫切需要通过其它技术优化文本向量表示以帮助提高文本分类的性能。文本向量的优化技术总的来说分为两类，首先是权重调整方法。权重调整方法是通过综合考虑一个单词相对于一个文本、一个数据集或者一个类的重要性来调整其在不同文本中的权重，使其值尽可能正确地反映一个单词与一个文本在语义上的关系。另一类优化技术是降维，它指的是通过降低特征空间的维度优化文本的表示。主要包括特征选择和特征抽取两种技术。本文从向量优化技术入手，将研究点分为了两大块：特征选择及其权重计算方案，特征抽取及其权重计算方案，所做的主要工作如下：在特征选择的研究上，针对目前很少有关于冗余特征研究的现状，分析和论证了在特征选择过程中消除冗余特征的重要性，提出了在特征选择过程中消除冗余特征的途径—特征之间的关联性分析。该方法以信息论量度为基本工具，综合考虑了计算代价以及特征评估的客观性等问题，形成了一种基于关联分析的特征选择算法，算法在保留类别相关特征的同时识别并摒弃了冗余特征，取得了较好的约简效果;在针对特征选择的权重计算方面，首先对传统的权重计算方案进行了分析，在指出其不足的基础上提出了改进方案：(1)对特征的类别区分能力予以了着重加强，在传统的权重公式中扩展了一项单词的类区分能力：w=local(t，d)global(t)classDisc(t)(2)对web文档信息特征进行分析，并且提出了web文档中主特征词、主特征域和主特征空间的概念。分析论证了在主特征空间上应当使用文档频度DF(document frequency)信息而非传统意义上的IDF(inverse document frequency)信息进行权值计算，以更加精确地描述web文本。在特征抽取的研究上，提出了针对局部LSI的权重计算方案。本文研究了典型的潜在语义索引技术(LSI)在文本分类上的两种应用方式：全局LSI和局部LSI。全局LSI完全无视训练数据中已知的类信息，所以全局LSI不但不会提高反而还会降低文本分类的性能。相比于全局LSI，局部LSI不是在整个训练数据上执行LSI，而是在每一个类的局部区域上分别执行奇异值分解从而为每一个类都创建了一个局部语义空间，然后每一个新的文本都分别被映射到每一个局部语义空间中进行分类。局部LSI通过利用已知的类信息很好地抽取出了区分一个类和其他类的语义结构，所以较之全局LSI有了一定的进步;但是通过对局部LSI的权重计算方案的分析我们发现，其权重计算方法只是简单继承向量空间模型，虽然潜在语义索引与向量空间模型在描述文本上有一定的相似性，但其基本思想有本质的不同：VSM本质上将词语看作空间的维度，将文档根据其所包含的词语看作是该空间中的一个点;LSI中不再将词语看作是单独的维度，潜在语义空间中的维度被认为是对应着各个“潜概念”，词语向量被看作是它们在各个“潜概念”上的投影，文档向量是其所包含的词语向量之和。为此本文提出了一种新的基于加权平滑的局部LSI方法，这个方法通过在语义信息表达更清晰的局部区域上执行奇异值分解从而抽取出了更具类区分力的局部语义结构。分类技术作为数据挖掘技术的基础，是信息过滤的基础技术及核心技术。最后本文将所提出的特征向量优化策略在信息过滤技术平台进行了应用层面的测试，取得了令人满意的测试效果。

关键词： web文本分类向量优化特征选择特征抽取权重调整

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

web文本分类研究及应用

Web文本分类研究及应用

作者：柯慧燕武汉理工大学

学位级别：硕士

伴随着Internet的飞速发展,web上出现了海量的、异构的、半结构化的、动态的信息资源,并且在这些web信息中有80%以上的信息是以web文本的形式存在的。如何从这些浩如烟海的web信息资源中寻找并获取有价值的信息和知识模式,已经成为信息... 详细信息

伴随着Internet的飞速发展,web上出现了海量的、异构的、半结构化的、动态的信息资源,并且在这些web信息中有80%以上的信息是以web文本的形式存在的。如何从这些浩如烟海的web信息资源中寻找并获取有价值的信息和知识模式,已经成为信息处理领域的一个亟待解决的问题。web文本分类可以有效的解决上述问题,它起源于ATC技术(自动文本分类技术),是web文本挖掘的关键组成部分;web文本分类可以提高用户进行网上信息搜索的效率,可以对搜索结果进行分门别类,帮助用户快速的对目标知识进行定位,并且能够从中抽取有价值的知识。本文在分析web挖掘和web文本挖掘的研究现状和存在问题的基础上,主要研究了web文本分类关键技术、常用文本分类方法和基于粗糙集和KNN的混合web文本分类方法,主要研究工作包括: (1) 介绍web挖掘和web文本挖掘的基础理论和相关知识,分析web文本挖掘和web文本分类的研究背景、现状和存在的问题。 (2) 对web文本分类过程中的关键技术:文本预处理、分词技术、文本的表示、权重的计算、特征提取和降维技术,进行详细的分析和讨论;分析和讨论影响分类性能评价的五个因素和几种常用的分类方法质量评价方法。 (3) 讨论几种常用的文本分类方法:KNN分类法、基于VSM的向量距离分类法、贝叶斯分类法、支持向量机分类法和决策树方法等,对这些方法的分类理论进行介绍,分析和比较这些分类方法的优缺点。 (4) 提出一种基于粗糙集和KNN的混合文本分类模型。利用粗糙集的属性约简理论降低了文本分类过程中的向量维数,使用一种基于分明矩阵的属性约简算法,特征选择过程采用互信息量计算方法,并对该混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的可行性。

关键词： web文本挖掘 web文本分类粗糙集 KNN 属性约简

web文本分类系统中文本预处理技术的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web文本分类系统中文本预处理技术的研究与实现

作者：王之鹏南京理工大学

学位级别：硕士

网络信息量的迅速增长对信息检索提出了更高的要求。在使用搜索引擎时,为了方便用户快速、准确地从网上获取所需的信息,有必要对搜索引擎检索到的大量web页面按内容进行分类。web文本挖掘技术是解决上述问题的一种有效的方法。它借鉴数... 详细信息

网络信息量的迅速增长对信息检索提出了更高的要求。在使用搜索引擎时,为了方便用户快速、准确地从网上获取所需的信息,有必要对搜索引擎检索到的大量web页面按内容进行分类。web文本挖掘技术是解决上述问题的一种有效的方法。它借鉴数据挖掘的基本思想和理论方法,从大量半结构化、异构的web文档集中发现潜在的、有价值的知识。 web文本分类技术是web文本挖掘中的一项重要技术。目前,针对中文网页的分类技术逐渐成为web数据挖掘研究的热点。它的关键技术包括网页清洗、中文分词、特征选择、文本表示以及分类算法。其中网页清洗、中文分词、特征选择和文本表示称为对网页文本的预处理,预处理结果的好坏是决定分类效果的重要因素。本文详细研究了预处理的各个过程并实现了预处理系统。预处理过程中,特征集的选取对文本分类的训练时间、分类的准确率都有显著的影响。传统的特征选择方法将每一个特征项都单独对待,分别进行特征评估,忽略了特征项之间的相关性、相似性等语义特征。本文在传统特征选择的基础上,引入了基于同义词统计的特征选择方法,在进行特征选择之前,先进行同义词的替换。这样可以进一步降低特征空间的维数,而且通过采用支持向量机算法进行web文本分类实验,并利用分类正确率对分类结果进行评价,与不使用同义词统计的特征选择方法相比,基于同义词统计的特征选择方法具有更好的分类正确率。

关键词：信息检索 web文本分类文本预处理特征选择同义词统计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

web文本分类关键技术的研究与实现

Web文本分类关键技术的研究与实现

作者：刘慧西安电子科技大学

学位级别：硕士

当今的世界，信息充斥着各个角落，以电子形式存在的web文本已逐渐成为人们最重要的信息来源。然而，web文本是无结构的、动态的，并且web页面的复杂程度远远超过了文本文档。因此，如何有效的、快速的从浩瀚的网络信息中获取到所需要... 详细信息

当今的世界，信息充斥着各个角落，以电子形式存在的web文本已逐渐成为人们最重要的信息来源。然而，web文本是无结构的、动态的，并且web页面的复杂程度远远超过了文本文档。因此，如何有效的、快速的从浩瀚的网络信息中获取到所需要的、可以利用的知识，已成为近年来人们研究的主要课题，并形成了一门新的技术：web文本挖掘。它主要包括四个方面的内容：web文本分类、web文本聚类、信息抽取和信息检索。本文主要是对web文本分类进行研究。在web文本分类中，支持向量机得到了广泛的应用。它是建立在统计学习理论和结构风险最小化原则基础上的一种机器学习方法，能够很好的解决小样本下的学习问题。与传统的机器学习方法相比，支持向量机具有很强的泛化能力，而且能够得到全局最优解，很好地解决了过学习、维数灾难、局部极值等问题，成为现在科学领域的一个研究热点。然而作为一个相对较新的理论，支持向量机还有待进一步的研究、改进。其中，对大规模数据集的分类问题及数据集更新后如何重新分类是研究的重点和难点之一。本文首先对web文本挖掘分类进行了研究，分析了其关键技术。然后研究了统计学习和支持向量机的基本概念及相关理论，并针对支持向量机在求解大规模数据集时存在的缺陷，如占用较高内存、收敛速度很慢、在数据集更新后又重新对所有样本进行分类等，提出了一种改进的基于相对分离度的算法，用来解决多分类问题。继而，在该算法的基础之上，提出了基于相对分类度的多分类增量学习算法。该算法将支持向量机和增量学习结合起来，当数据集更新后，该算法保留了以前学习的结果，仅对新增加的数据进行再学习，从而形成一个连续的学习过程。最后，将改进的算法应用于web文本挖掘系统中，并取得了较好的分类效果。

关键词： web文本分类支持向量机多分类问题增量学习

一种结合层次结构和KNN的web文本分类方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

小型微型计算机系统 2009年第8期30卷 1555-1560页

作者：吴春颖王士同杨林波江南大学信息工程学院江苏无锡214122

在web文本分类中当类别数量庞大或者类别复杂情况下,层次分类是一种有效的分类方法,但其不足之一是在大类正确划分的前提下,由于子类之间存在较多共性,导致分类精度下降.而层次结构本质决定了同一大类下的子类存在特征交叉现象,针对这... 详细信息

在web文本分类中当类别数量庞大或者类别复杂情况下,层次分类是一种有效的分类方法,但其不足之一是在大类正确划分的前提下,由于子类之间存在较多共性,导致分类精度下降.而层次结构本质决定了同一大类下的子类存在特征交叉现象,针对这一局限性,结合KNN的优越性能,提出了一种结合层次结构和KNN的web文本分类方法.该方法通过建立层次结构模型(树形结构),分类时先从层次结构模型获得相似度最大的k0个类别,然后在k0个类别训练文档中抽取部分代表样本采用KNN算法,最后由一种改进的相似度计算方法决定最终的所属类别.实验表明,结合层次结构和KNN的方法在web文本分类中能够获得较好的分类效果.

关键词：层次结构 KNN web文本分类

在线全文

学校读者我要写书评

暂无评论

基于改进BoS的web文本分类研究

南京邮电大学学报（自然科学版） 2013年第1期33卷 79-83页

作者：彭俊杰陈丹敏河南大学计算机与信息工程学院河南开封475004

提出了改进的文本相似度计算方法,在计算文本的相似度时,赋予不同文本块中的句子不同的权值,同时直接去掉短句子和合并高相似度的句子以精简句子包中句子数量以提高运算速度。改进后的文本相似度计算方法为:先根据句子相似度的计算方法... 详细信息

提出了改进的文本相似度计算方法,在计算文本的相似度时,赋予不同文本块中的句子不同的权值,同时直接去掉短句子和合并高相似度的句子以精简句子包中句子数量以提高运算速度。改进后的文本相似度计算方法为:先根据句子相似度的计算方法计算句子的相似度,再计算文本块的相似度,最后按照文本块的权值计算整个文本的相似度。经试验证明,改进后的算法在文本召回率、准确率和F1值上都有明显的提高。

关键词： web文本分类句子包向量空间模型文本挖掘

在线全文

学校读者我要写书评

暂无评论

无标记训练样本的web文本分类方法

计算机科学 2006年第3期33卷 200-201,211页

作者：刘丽珍宋瀚涛陆玉昌首都师范大学信息工程学院北京100037 北京理工大学计算机系北京100081 清华大学计算机系北京100084

在文本分类中获得有类别标记训练样本的代价是很高昂的,本文针对这个问题对传统的模糊聚类方法进行改进,提出模糊划分聚类方法 FPCM,将聚类的无监督性和样本的先验知识结合起来,通过相似度度量聚类相关文本,取得比较客观的簇和少量标记... 详细信息

在文本分类中获得有类别标记训练样本的代价是很高昂的,本文针对这个问题对传统的模糊聚类方法进行改进,提出模糊划分聚类方法 FPCM,将聚类的无监督性和样本的先验知识结合起来,通过相似度度量聚类相关文本,取得比较客观的簇和少量标记文本,为监督学习找到分类依据,并结合朴素贝叶斯增量学习方式进行分类器的学习。本文进一步用估计分类误差损失的方法平衡选取候选样本,提高了分类准确率,实现了应用范围更加广泛的无标记文本分类学习模型。

关键词： web文本分类模糊聚类朴素贝叶斯

在线全文

学校读者我要写书评

暂无评论

一种改进的KNN web文本分类方法

计算机应用研究 2008年第11期25卷 3275-3277页

作者：吴春颖王士同江南大学信息工程学院江苏无锡214122

KNN方法存在两个不足:a)计算量巨大,它要求计算未知文本与所有训练样本间的相似度进而得到k个最近邻样本;b)当类别间有较多共性,即训练样本间有较多特征交叉现象时,KNN分类的精度将下降。针对这两个问题,提出了一种改进的KNN方法,该方... 详细信息

KNN方法存在两个不足:a)计算量巨大,它要求计算未知文本与所有训练样本间的相似度进而得到k个最近邻样本;b)当类别间有较多共性,即训练样本间有较多特征交叉现象时,KNN分类的精度将下降。针对这两个问题,提出了一种改进的KNN方法,该方法先通过Rocchio分类快速得到k0个最有可能的候选类别;然后在k0个类别训练文档中抽取部分代表样本采用KNN算法;最后由一种改进的相似度计算方法决定最终的文本所属类别。实验表明,改进的KNN方法在web文本分类中能够获得较好的分类效果。

关键词： web文本分类 K最近邻快速分类