检索结果-南通市图书馆

基于弱监督的种子词主题模型文本分类算法研究

在线全文

学校读者我要写书评

暂无评论

基于弱监督的种子词主题模型文本分类算法研究

作者：王悦吉林大学

学位级别：硕士

随着计算机科学技术的发展和普及,电子文本数量逐渐增多,文本信息处理的需求日益迫切。其中,文本分类问题作为文本处理领域的基础问题在理论及工业应用方面均具有重要的研究意义。根据人工参与程度不同,文本分类算法可以分为有监督算法... 详细信息

随着计算机科学技术的发展和普及,电子文本数量逐渐增多,文本信息处理的需求日益迫切。其中,文本分类问题作为文本处理领域的基础问题在理论及工业应用方面均具有重要的研究意义。根据人工参与程度不同,文本分类算法可以分为有监督算法和弱监督算法。代表性的有监督文本分类算法有:监督性狄利克雷分配算法(supervised Latent Dirichlet Allocation,sLDA)、支持向量机算法(Support Vector Machine,SVMs)、k最近邻算法(k-Nearest Neighbor,KNN)等。有监督分类算法虽然具有很好的分类效果,但是需要大规模的已标记文档集提供监督信息,其获取过程耗费大量的人力时间成本,甚至在有些实际应用场景中难以实现。弱监督分类算法缓解了上述由于人工参与程度高而产生的问题。其中,基于种子词的弱监督算法可以在借助更少人工参与的同时具有更高的分类准确度。种子词是指极少量由人类专家挑选的能够代表各个种类的词。根据选择的模型不同,弱监督的种子词分类算法主要有以Seed Word naive Bayes(SNB)为代表的判别式算法和以Seed-Guide Topic Model(STM)为代表的种子词主题模型算法等生成式算法。其中种子词主题模型算法人工参与更少,分类准确度更高。然而,现存的种子词主题模型文本分类算法仍然存在诸如对所含参数(种类的主题数)、种子词数量和质量敏感以及由于种子词能够提供的监督信息有限而导致的文本分类准确度不够理想等问题。为了尽量少地借助人工参与,更好地发挥种子词的作用,提高文本分类准确度,我们提出了一个新的基于弱监督的种子词主题模型文本分类算法(supervised Seed Word Topic Model,supSWTM).本文具体工作如下:一、提出一个新的基于弱监督的种子词主题模型分类算法。为了更好地利用种子词这一有限的监督信息提高文本分类准确度,我们提出了一个新的基于种子词主题模型的弱监督分类算法,supSWTM。在主题模型LDA的基础上,我们主要做了如下三点改进:(1)使用种子词为每个文档提供了指定文档标签先验。先验由两部分构成:标签隶属度和标签频率;(2)为了提高先验中标签隶属度的描述能力,融入了基于质心的最近邻策略;(3)为了过滤掉辨识度低的词进而提高模型效率,融入了组合词权重策略。最后,我们应用吉布斯采样方法完成supSWTM的模型推理。二、对比实验为了测试模型表现,我们在两个文本分类研究领域常用的数据集Newsgroup和Reuters上,结合种子词集S、S,将supSWTM与SNB、STM、sLDA、SVM、KNN进行了对比实验。采用的评价标准是文本分类领域通用的标准:宏平均(Macro-F1)和微平均(Micro-F1)。实验结果表明,与其他无监督算法相比,supSWTM以更少的监督信息达到了更高的文本分类准确度。而且,由于对参数和种子词集相对不敏感,supSWTM的表现更稳定且需要的人工参与更少。与有监督算法相比,supSWTM大大降低了人工时间成本且准确度在有些文本集合上的表现可以媲美甚至超过部分有监督算法,更具有实际应用空间和价值。

关键词：弱监督文本分类主题模型种子词词权重策略吉布斯采样

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

简单且有效的弱监督中文文本分类算法

计算机工程与应用 2024年

作者：陈中涛周亚同河北工业大学电子信息工程学院

目前基于种子词的弱监督文本分类算法大多需要从数据集中搜索所有种子词并以此扩展类别词典，出现频率较低的种子词其类别识别能力也较低。因此设计了一个简单且有效的弱监督中文文本分类算法（simple and effective weakly supervised ... 详细信息

目前基于种子词的弱监督文本分类算法大多需要从数据集中搜索所有种子词并以此扩展类别词典，出现频率较低的种子词其类别识别能力也较低。因此设计了一个简单且有效的弱监督中文文本分类算法（simple and effective weakly supervised Chinese text classification，SEWClass），该方法利用预训练语言模型初始权重生成对文本的抽象理解，并以此为基础继续生成抽象约束条件和具象约束条件，以构建初次训练的伪标签数据；根据类别数量联合构建降维模型与分类器，以适应弱监督文本分类需要预先指定类别和在自训练过程中需要增加训练数据的特点；通过两种约束条件，伪标签数据拥有较高精确率，并在自训练过程中仅训练降维模型以提升召回率和算法效率。SEWClass对每个类别只需要一个种子词，如类别名称，即可完成分类任务，且SEWClass的性能与种子词是否出现在数据集中无关。SEWClass在THUCNews与toutiao两个中文数据集上的性能均远高于其他弱监督方法。

关键词：弱监督文本分类自训练种子词

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

词语感情色彩极性判断与强度测量方法研究

现代语文 2022年第6期 70-77页

作者：李淑云王世昌杨振兰山东大学文学院山东济南250100

感情色彩是词义的重要组成部分,目前对感情色彩极性的判断和强度的测量多采用内省法,尚未形成客观有效的标准。从语境、语义韵、构形、计算等四个角度,对感情色彩极性与强度的判断、测量方法进行研究,并以典型的感情色彩种子词来验证方... 详细信息

感情色彩是词义的重要组成部分,目前对感情色彩极性的判断和强度的测量多采用内省法,尚未形成客观有效的标准。从语境、语义韵、构形、计算等四个角度,对感情色彩极性与强度的判断、测量方法进行研究,并以典型的感情色彩种子词来验证方法的可行性。希望能够探索出较为科学客观的方法,以规避内省法所产生的主观性偏误。

关键词：感情色彩极性感情色彩强度种子词语义韵

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

半监督自训练的方面提取

智能系统学报 2019年第4期14卷 635-641页

作者：曲昭伟吴春叶王晓茹北京邮电大学网络技术研究院北京100876 北京邮电大学计算机学院北京100876

方面提取是观点挖掘和情感分析任务中的关键一步,随着社交网络的发展,用户越来越倾向于根据评论信息来帮助进行决策,并且用户也更加关注评论的细粒度的信息,因此,从海量的网络评论数据中快速挖掘方面信息对于用户快速决策具有重要意义... 详细信息

方面提取是观点挖掘和情感分析任务中的关键一步,随着社交网络的发展,用户越来越倾向于根据评论信息来帮助进行决策,并且用户也更加关注评论的细粒度的信息,因此,从海量的网络评论数据中快速挖掘方面信息对于用户快速决策具有重要意义。大部分基于主题模型和聚类的方法在方面提取的一致性上效果并不好,传统的监督学习的方法效果虽然表现很好,但是需要大量的标注文本作为训练数据,标注文本需要消耗大量的人力成本。基于以上问题,本文提出一种基于半监督自训练的方面提取方法,充分利用现存的大量未标签的数据价值,在未标签数据集上通过词向量模型寻找方面种子词的相似词,对每个方面建立与数据集最相关的方面表示词集合,本文方法避免了大量的文本标注,充分利用未标签数据的价值,并且本文方法在中文和英文数据集上都表现出了理想的效果。

关键词：方面提取词向量半监督自训练未标签数据观点挖掘种子词相似词

在线全文

学校读者我要写书评

暂无评论

基于LDA及标签传播的实体集合扩展

山东大学学报（理学版） 2015年第3期50卷 20-27页

作者：马宇峰阮彤华东理工大学计算机科学与工程系上海200237

实体集合扩展是指给定某类别下若干示例作为种子,扩展得到属于该类别下的更多实体。传统的实体集合扩展方法主要考虑实体之间的共现关系,根据它们之间的相似程度进行迭代式的扩展,但这会导致语义偏转问题的出现,准确率较差。对此,提出... 详细信息

实体集合扩展是指给定某类别下若干示例作为种子,扩展得到属于该类别下的更多实体。传统的实体集合扩展方法主要考虑实体之间的共现关系,根据它们之间的相似程度进行迭代式的扩展,但这会导致语义偏转问题的出现,准确率较差。对此,提出了先根据LDA(latent dirichlet allocation)主题模型获得种子词集合语义信息,再通过标签传播来进行实体集合扩展的方法。该方法通过考虑实体列表整体蕴含的语义信息,避免了单个词可能带来的歧义问题;利用LDA模型,挖掘实体列表的上下文主题,丰富实体扩展过程中的语义信息,解决语义偏转问题。在实际数据集上取得了良好的检测效果,证明了本文方法的有效性。

关键词：实体集合扩展主题模型标签传播种子词 LDA

在线全文

学校读者我要写书评

暂无评论

基于Web数据的特定领域双语词典抽取

中文信息学报 2006年第2期20卷 16-23页

作者：张永臣孙乐李飞李文波西野文人于浩方高林中国科学院软件研究所中文信息中心中国科学院研究生院北京100080 富士通研究开发中心有限公司北京100081

双语词典是跨语言检索以及机器翻译等自然语言处理应用的基础资源。本文提出了一种从非平行语料中抽取特定领域双语词典的算法。首先给出了算法的基本假设并回顾了相关的研究方法,然后详细给出了利用词间关系矩阵法从特定领域非平行语... 详细信息

双语词典是跨语言检索以及机器翻译等自然语言处理应用的基础资源。本文提出了一种从非平行语料中抽取特定领域双语词典的算法。首先给出了算法的基本假设并回顾了相关的研究方法,然后详细给出了利用词间关系矩阵法从特定领域非平行语料中抽取双语词典的过程,最后通过大量实验分析了种子词选择对词典抽取结果的影响,实验结果表明种子词的数量和频率对词典抽取结果有积极作用。

关键词：计算机应用中文信息处理双语词典词间关系矩阵非平行语料种子词

在线全文

学校读者我要写书评

暂无评论

一种基于词聚类的中文文本主题抽取方法

计算机应用 2005年第4期25卷 754-756页

作者：陈炯张永奎山西大学计算机与信息技术学院

提出了一种基于词聚类的中文文本主题抽取方法,该方法利用相关度对词的共现进行分析,建立词之间的语义关联,并生成代表某一主题概念的用种子词表示的词类。对于给定文档,先进行特征词抽取,再借助词类生成该文档的主题因子,最后按... 详细信息

提出了一种基于词聚类的中文文本主题抽取方法,该方法利用相关度对词的共现进行分析,建立词之间的语义关联,并生成代表某一主题概念的用种子词表示的词类。对于给定文档,先进行特征词抽取,再借助词类生成该文档的主题因子,最后按权重输出主题因子,作为文本的主题。实验结果表明,该方法具有较高的抽准率。

关键词：主题抽取词聚类种子词主题因子信息论词同现 CHI统计

在线全文

学校读者我要写书评

暂无评论

中文基础情感词词典构建方法研究

计算机应用 2009年第10期29卷 2875-2877页

作者：柳位平朱艳辉栗春亮向华政文志强湖南工业大学计算机与通信学院湖南株洲412008

词语的情感倾向判别是文章语义情感倾向研究的基础工作。利用中文情感词建立一个基础情感词典,为专一领域情感词识别提供一个核心子集,能够有效地在语料库中识别及扩展情感词集,并提高分类效果。在中文词语相似度计算方法的基础上,提出... 详细信息

词语的情感倾向判别是文章语义情感倾向研究的基础工作。利用中文情感词建立一个基础情感词典,为专一领域情感词识别提供一个核心子集,能够有效地在语料库中识别及扩展情感词集,并提高分类效果。在中文词语相似度计算方法的基础上,提出了一种中文情感词语的情感权值的计算方法,并以HOWNET情感词语集为基准,构建了中文基础情感词典。利用该词典结合TF-IDF特征权值计算方法,对中文文本情感倾向进行判别,实验结果表明,该方法取得了不错的分类效果。

关键词：基础情感词词典倾向性分析情感权值种子词

在线全文

学校读者我要写书评

暂无评论

面向中文图书评论的情感词典构建方法研究

现代图书情报技术 2016年第2期 67-74页

作者：郭顺利张向先吉林大学管理学院长春130022

【目的】探讨中文图书评论情感词典构建方法,以便进行用户图书评论的情感分析。【方法】参照相关研究将用户情感分为7类,对采集到的语料库进行分词,结合基础情感词典得到中文图书评论的情感词集,选取各类情感种子词;利用改进的SO-PMI算... 详细信息

【目的】探讨中文图书评论情感词典构建方法,以便进行用户图书评论的情感分析。【方法】参照相关研究将用户情感分为7类,对采集到的语料库进行分词,结合基础情感词典得到中文图书评论的情感词集,选取各类情感种子词;利用改进的SO-PMI算法和同义词词林扩展方法判别词语的情感类别;以实际的图书评论作为语料进行实验验证。【结果】提出一种中文图书评论的情感词典构建方法,其平均准确率、平均召回率及F1的均值分别为0.90、0.83和0.85。【局限】语料库小,样本范围具有一定的局限性。【结论】实验结果表明本文方法具有较高的有效性和可靠性,能够有效地进行用户图书评论的情感分析。

关键词：中文图书评论情感词典种子词情感分类 SO-PMI算法