检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于词条之间关联关系的文档聚类

计算机工程与应用 2016年第7期52卷 86-90页

作者：任建华沈炎彬孟祥福王伟辽宁工程技术大学电子与信息工程学院辽宁葫芦岛125105

针对现有的空间向量模型在进行文档表示时忽略词条之间的语义关系的不足,提出了一种新的基于关联规则的文档向量表示方法。在广义空间向量模型中分析词条的频繁同现关系得到词条同现语义,根据关联规则分析词条之间的关联相关性,挖掘出... 详细信息

针对现有的空间向量模型在进行文档表示时忽略词条之间的语义关系的不足,提出了一种新的基于关联规则的文档向量表示方法。在广义空间向量模型中分析词条的频繁同现关系得到词条同现语义,根据关联规则分析词条之间的关联相关性,挖掘出文档中词条之间的潜在关联语义关系,将词条同现语义和关联语义线性加权对文档进行表示。实验结果表明,与BOW模型和GVSM模型相比,采用关联规则文档向量表示的文档聚类结果更准确。

关键词：文档聚类关联关系词条同现文档相似度潜在语义

在线全文

学校读者我要写书评

暂无评论

基于共识和分类改善文档聚类的识别信息方法

计算机应用 2020年第4期40卷 1069-1073页

作者：王留洋俞扬信陈伯伦章慧淮阴工学院计算机与软件工程学院江苏淮安223003

不同的聚类算法用于设计各自的策略,然而,每种技术在执行特定数据集时都有一定的局限性。选择恰当的识别信息方法(DIM)可确保文档聚类的进行。针对这些问题提出一种基于共识和分类的文档聚类(DCCC)的DIM。首先,选择识别信息最大化聚类(C... 详细信息

不同的聚类算法用于设计各自的策略,然而,每种技术在执行特定数据集时都有一定的局限性。选择恰当的识别信息方法(DIM)可确保文档聚类的进行。针对这些问题提出一种基于共识和分类的文档聚类(DCCC)的DIM。首先,选择识别信息最大化聚类(CDIM)作为数据集生成初始聚类的解决方法,并使用两种不同的CDIM方法生成两个初始聚集;其次,使用不同的参数方法对两初始聚集再进行初始化,通过簇标签信息间的关系建立共识,最大限度地提高文档的识别数总和;最后,选择识别文本权重分类(DTWC)作为文本分类器给共识分配新的簇标签,通过训练文本分类器更改基础分区,并根据预报标签信息生成最后的分区。采用8个网络数据集进行实验,选择BCubed的精度和召回率指标进行聚类验证。实验结果表明,所提出的共识分类方法的聚类结果优于对比方法的聚类结果。

关键词：共识聚类文档聚类识别信息簇标签文本分类器

在线全文

学校读者我要写书评

暂无评论

基于Web日志挖掘的Web文档聚类

计算机工程与设计 2008年第18期29卷 4708-4710页

作者：高哲魏海平王福威赵晓碧辽宁石油化工大学计算机与通信工程学院辽宁抚顺113001

Web日志挖掘是Web挖掘的一种,介绍了Web日志挖掘的一般过程,研究了k-means聚类算法,并分析了k-means聚类算法的不足。k-means聚类算法迭代过程中每次都需要计算每个数据对象到簇质心的距离,使得聚类效率不高,针对这个问题,提出了k-mean... 详细信息

Web日志挖掘是Web挖掘的一种,介绍了Web日志挖掘的一般过程,研究了k-means聚类算法,并分析了k-means聚类算法的不足。k-means聚类算法迭代过程中每次都需要计算每个数据对象到簇质心的距离,使得聚类效率不高,针对这个问题,提出了k-means聚类算法的改进算法,该算法避免了重复计算数据对象到簇质心的距离,并用这两种算法实现了Web文档的聚类。试验结果表明,该改进算法提高了聚类效率。

关键词：日志挖掘 Web日志 k-means 文档聚类日志预处理

基于免疫网络的k-means文档聚类算法研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与设计 2008年第10期29卷 2629-2631页

作者：陈曦徐家宁杨建雄长沙理工大学计算机与通信工程学院湖南长沙410076

提出了一种把人工免疫网络(aiNet)和k-means算法结合的文档聚类算法。先把文档集预处理成向量集表示,基于向量之间的余弦相似度,用aiNet算法对文档进行聚类,用得到的相似度矩阵初始化k-means的聚类中心,再用k-means算法对文档聚类。实... 详细信息

提出了一种把人工免疫网络(aiNet)和k-means算法结合的文档聚类算法。先把文档集预处理成向量集表示,基于向量之间的余弦相似度,用aiNet算法对文档进行聚类,用得到的相似度矩阵初始化k-means的聚类中心,再用k-means算法对文档聚类。实验结果表明,该算法是可行的,并且能改善聚类质量。

关键词：聚类分析文档聚类人工免疫网络向量空间模型余弦相似度

在线全文

学校读者我要写书评

暂无评论

基于WAF的文档聚类技术研究

基于WAF的文档聚类技术研究

作者：莫骁北京邮电大学

学位级别：硕士

聚类是一个重要的基于统计的无监督信息处理工具,在很多应用领域起着基础的作用。其中,文档聚类是对文本文档进行聚类的方法,对于信息检索有着减小数据规模、改善检索效果的作用。 WAF可以作为文档模型,服务于聚类任务。文档聚类方法已... 详细信息

聚类是一个重要的基于统计的无监督信息处理工具,在很多应用领域起着基础的作用。其中,文档聚类是对文本文档进行聚类的方法,对于信息检索有着减小数据规模、改善检索效果的作用。 WAF可以作为文档模型,服务于聚类任务。文档聚类方法已经有数十年的研究历史。近年提出的WAF模型利用term的共现信息建模,在数据集统计、词关系发现上有着显著的效果。相比VSM模型,WAF模型携带了更多的信息,有理由成为有效的文档表示模型之一。本文研究基于WAF的文档聚类方法,主要做了以下几个方面的工作。首先,对WAF模型的含义和理论基础进行分析和推导。一方面从图的角度分析了WAF的几何意义,另一方面以语言模型和信息论为出发点,理论上推导出WAF模型的信息论意义。其次,对WAF作为文档模型做了改进。利用词之间亲和度定义了.两个文档的WAF模型之间的相似度,引入了WAF平滑和A值平滑方法。再次,利用英文Wikipedia的开放数据,以VSM模型为对照组,评价了基于WAF模型的聚类方法的效果,验证了WAF文档模型的有效性。最后,介绍了实际工程项目中海量短文本聚类与存储的方案。采用快速聚类处理海量短文本,为下游模块减小数据规模。提出AIS策略存储时序海量短文本。

关键词： WAF 文档聚类文档相似度平滑

XML文档结构相似度研究及在文档聚类中应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

XML文档结构相似度研究及在文档聚类中应用

作者：李丽娟山东大学

学位级别：硕士

近几年来，随着社会信息化进程的不断深入发展，人类对信息的需求和依赖程度越来越高，如何从海量的信息资源中快速有效的获取有用的信息，已经成为研究的热点，这也给信息检索带来了极大的挑战。相似度的计算是文档检索、挖掘和文本... 详细信息

近几年来，随着社会信息化进程的不断深入发展，人类对信息的需求和依赖程度越来越高，如何从海量的信息资源中快速有效的获取有用的信息，已经成为研究的热点，这也给信息检索带来了极大的挑战。相似度的计算是文档检索、挖掘和文本聚类的基础，因此对相似度算法进行研究具有非常重要的意义，可以说文档相似度的计算直接影响了最后的检索结果。XML语言具有“自描述”、“树形结构”、“结构嵌套”等特点受到了业界的普遍欢迎和支持，越来越多的应用领域已经将其作为主要的存储格式和传输媒体。因此如何计算XML文档的相似度特别是它的结构相似度是目前研究的主要任务。通过对XML文档的不断深入研究，发现传统的相似度的计算方法已不能满足计算元素的嵌套结构的语义要求。用树的编辑距离来计算文档的相似度时，如果树描述全部结构信息，这样树的结构会非常庞大，并且树编辑距离方法对文档中元素重复和元素可选问题不能有效处理。另一方面，在因特网上通过搜索引擎检索信息时，出来的信息成千上万，而人们通常只关心检索的前20名，如何提高前20项(或前n项)与用户相关项的个数，即提高检索结果的准确性是研究的另外一个难题。为了解决上述问题，本论文，在文档对象树的基础上，提出了一种基于树路径的XML文档描述模型，并给出了相应的相似度算法，将问题有效地简化，从而降低了解决问题的复杂度。这种算法能快速、准确分辨出具有相同结构的XML文档。首先，本文提出了一种基于树路径模型的相似度算法，来实现对XML文档之间相似度的计算。该算法简化了XML文档描述，从而降低了解决问题的复杂度。此算法在文档类别数较少，且不同类别的文档的结构相差较大时，有很好的聚类效果。其次，在此算法的基础上，针对它存在的一些问题如：路径只是包含父／子这种祖先与子孙的关系，忽略了兄弟结点之间关系;没有考虑各路径的权重;并且在比较两路径的相似度时用的是路径的完全匹配等，本文对此一一进行了改进，并提出了改进后的相似度的计算方法。改进后的算法计算出来的相似度更准确，处理了文档中元素重复问题，使得计算结果也更符合人的直观理解。最后本文进行了实验测试，并且在计算文档相似度的基础上对文档进行了聚类，实验结果显示与其它算法相比，本文的方法更显著地提高了识别具有相同结构的XML文档的能力，在此基础上，通过对文档进行聚类，使具有相同特征或相似度值很大的文档归为一类，很好提高检索结果的准确性。

关键词： XML 树路径结构相似度文档聚类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于词共现的文档聚类算法

计算机工程 2012年第2期38卷 213-214,220页

作者：常鹏冯楠马辉天津大学管理与经济学部天津300072 天津大学信息与网络中心天津300072 天津城市建设学院管理工程系天津300384

为解决文本主题表达存在的信息缺失问题,提出一种基于词共现的文档聚类算法。利用文档集上的频繁共现词建立文档主题向量表示模型,将其应用于层次聚类算法中,并通过聚类熵寻找最优的层次划分,从而准确反映文档之间的主题相关关系。实验... 详细信息

为解决文本主题表达存在的信息缺失问题,提出一种基于词共现的文档聚类算法。利用文档集上的频繁共现词建立文档主题向量表示模型,将其应用于层次聚类算法中,并通过聚类熵寻找最优的层次划分,从而准确反映文档之间的主题相关关系。实验结果表明,该算法所获得的结果优于其他基于短语的文档层次聚类算法。

关键词：文档聚类文档模型词共现文档相似度聚类增益

在线全文

学校读者我要写书评

暂无评论

基于K-Means的文档聚类算法研究

基于K-Means的文档聚类算法研究

作者：周俊全华中科技大学

学位级别：硕士

人们面对大量文档时，希望对文档按类别进行处理。针对组织和整理科技论文，提供导航、检索的便利，在学习科学技术、从事科研工作、开展学术交流活动时提高效率、避免重复劳动的需求，研究了科技论文的聚类分析，阐述了文档聚类的相关... 详细信息

人们面对大量文档时，希望对文档按类别进行处理。针对组织和整理科技论文，提供导航、检索的便利，在学习科学技术、从事科研工作、开展学术交流活动时提高效率、避免重复劳动的需求，研究了科技论文的聚类分析，阐述了文档聚类的相关技术、主要的文档聚类算法、改进的K-Means算法的设计、改进的特征筛选方法的设计。在各种聚类算法中，K-Means算法是简单、快速、效果不错的算法。然而，与此同时，K-Means聚类的初始簇中心对聚类结果影响较大，可能导致局部最优，从而使聚类结果质量较差且不稳定，通过研究，提出使用Canopy算法作为聚类的预处理步骤，使聚类的初始中心分布较为分散，以优化聚类结果的质量。针对科技论文的特点，选择合适的向量化方法和距离测度，在一般性的分词、去停用词的基础上，研究分词结果、对论文常见无意义的词的处理和论文标题、摘要、关键词等字段的权重处理等特征筛选方法，使特征向量更准确地表达文档的主旨内容。开发Java程序对结果进行验证，包括文档处理、特征筛选以及聚类算法部分，文档处理和特征筛选部分实现了一般性的特征选择方法和研究得出的新的特征筛选方法，聚类算法部分实现了传统的K-Means算法及使用Canopy算法进行预处理改进的K-Means算法。选取文档数据，将论文的标题、摘要、关键词作为测试文档内容，对文档进行预处理并进行聚类分析。测试的结果证明了在特征筛选和聚类算法上的改进有一定的作用。

关键词：文档聚类 K均值算法 Canopy算法特征筛选

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于术语簇和关联规则的文档聚类方法

基于术语簇和关联规则的文档聚类方法

作者：成岳鹏河北大学

学位级别：硕士

聚类技术是数据挖掘领域具有重要价值的技术之一,随着网络在社会生活的不断深入,加之数据库技术的迅速发展和普及,Web挖掘日益受到信息科学界的关注和重视,总的来说,Web挖掘可分为三种类型：Web结构挖掘,Web使用挖掘和Web文本挖掘其中,... 详细信息

聚类技术是数据挖掘领域具有重要价值的技术之一,随着网络在社会生活的不断深入,加之数据库技术的迅速发展和普及,Web挖掘日益受到信息科学界的关注和重视,总的来说,Web挖掘可分为三种类型：Web结构挖掘,Web使用挖掘和Web文本挖掘其中,文档聚类属于Web文本挖掘的研究内容,所谓文本挖掘,是指从文档集合中发现隐含的某些未知模式或规则。文档聚类不同于传统的文档分类,它不是基于预定的类表或类目体系,而是完全基于文档本身,即先有文档后有类,类的内涵和外延以及整个类目体系完全由需要进行聚类处理的文档集合确定。目前常用的文档聚类方法有层次方法和划分方法等,其中,层次方法通过将文档组织成若干类并形成一个相应的树来进行聚类,其准确度较高,但运行速度较慢,不适合大规模文档集合的聚类;划分方法将文档集合水平的划分为许多类,各类间没有层次性,其运行速度较快,但须事先确定聚类数目,且对噪声和输入顺序较敏感,尤其是当文档形式化表示的维数较高时,该方法的性能和聚类质量都明显下降。对此,本文提出一种基于术语簇和关联规则的文档聚类方法,首先对文档集合进行分词得到许多术语,对这些术语进行处理得到一个术语集合,再计算术语之间的平均互信息并以此为依据使用聚丛法形成术语簇,用术语簇来表示文档,并计算术语簇和文档之间的关联度得到一个关联矩阵,使用DHP(Direct Hashing and Pruning)算法从关联矩阵中挖掘出文档的初始聚类,对此进行聚类分析获得最终的文档聚类。此外,还使用了新的术语权重和文档相似度计算方法,在实验数据的计算中使用了加权平均法。实验结果表明,与传统的聚类方法相比,新聚类方法运行速度快,聚类效果和聚类质量都有显著提高。

关键词：矢量空间模型关联规则文档聚类 Web挖掘术语簇