检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于序列标注模型的汉语错别字校对方法研究

基于序列标注模型的汉语错别字校对方法研究

作者：韩子嘉黑龙江大学

学位级别：硕士

随着网络新媒体时代的到来,用户生成的海量文本充斥了互联网,这些文本可能包含大量不规范的文字表达。伴随中国综合国力的日益提高,将汉语作为外语的学习者人数也日益增加,初学者可能在学习汉语的过程中出现各种错别字。本文就汉语错别... 详细信息

随着网络新媒体时代的到来,用户生成的海量文本充斥了互联网,这些文本可能包含大量不规范的文字表达。伴随中国综合国力的日益提高,将汉语作为外语的学习者人数也日益增加,初学者可能在学习汉语的过程中出现各种错别字。本文就汉语错别字校对任务进行探索,探究应用神经网络技术对汉语错别字进行自动检测与纠正的方法。本文内容囊括以下的三个方面:基于神经机器翻译的汉语错别字检测与纠正、基于序列标注模型的汉语错别字检测与纠正、融入拼音与笔画特征的汉语错别字检测与纠正。基于神经机器翻译的汉语错别字检测与纠正。本文将汉语错别字校对视作从错字序列到正字序列的机器翻译问题,本文提出的基于神经网络机器翻译的模型,应用了Transformer和Copy Net网络以提高检测和纠正性能。通过采用不同的Word Embedding的进一步探究预训练机制对模型性能的提升。基于序列标注模型的汉语错别字校对。由于基于机器翻译的模型对语料规模依赖较大,针对错别字语料获取困难的特点,本文采用基于序列标注模型进行错别字的检测与纠正任务,降低了模型复杂度。本文采用了Bi-LSTM以及Bi-GRU模型,从正序和逆序双向获取输入序列的语义信息,使用CRF层和Softmax函数对网络的输出进行解码,对输入序列中的汉字逐个预测正字。最终实验结果证明基于序列标注模型的错别字检测与校对的性能优于基于神经机器翻译的模型。融入拼音与笔画特征的汉语错别字校对。错别字类型可分为形近错别字和音近错别字,针对这两种错字成因,本文利用汉字中的因素和结构信息,在序列标注模型的基础上融入了拼音和笔画特征,以字符向量的方式通过卷积神经网络与字的词向量相拼接。实验结果表明融入外部特征的模型性能更优。

关键词：汉语错别字校对神经机器翻译序列标注模型循环神经网络

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识图谱的中文语法纠错研究

基于知识图谱的中文语法纠错研究

作者：邓倩华中师范大学

学位级别：硕士

中文语法纠错是识别并纠正中文文本中语法错误的任务。近年来该研究任务发展迅速并在文本辅助校对、文本辅助编辑、搜索引擎、语言识别、图像转文本等领域都有着广泛的应用。现如今许多自然语言处理任务都获益于基于预训练语言模型的方... 详细信息

中文语法纠错是识别并纠正中文文本中语法错误的任务。近年来该研究任务发展迅速并在文本辅助校对、文本辅助编辑、搜索引擎、语言识别、图像转文本等领域都有着广泛的应用。现如今许多自然语言处理任务都获益于基于预训练语言模型的方法,这也促进了中文语法纠错领域的研究,提高了领域模型的语义提取能力。然而,许多研究并没有充分利用预训练语言模型学习领域知识的优势,导致它们缺乏对中文语法纠错先验知识的表示能力。故本文依据中文语法纠错工作的特性提供了一个新的方法,用于构建基于语法知识图谱的预训练语言模型。另一方面,由于现有的基于序列标注的中文语法纠错模型中纠错标签处理过程太过粗糙,导致时常出现标签集合泛化性不够和一字多标签等标签冲突问题。针对此类标签问题,本文在上述预训练模型的基础上提出基于改进序列标注的中文语法纠错模型。本文主要研究工作如下:(1)构建基于语法知识图谱的预训练语言模型。本文首先采用句子成分间的句法关系构建语法知识图谱,然后采用Tuck ER模型训练知识图谱中的知识三元组增强实体表征的语法信息表达能力,最后通过知识融合编码器将蕴含外部句法知识的实体表征与语义表征深度融合。此外,本文还使用依据汉语语言特点而设定的掩码方法对选定的字词进行预测进一步学习语义和语法知识。实验结果表明该特定于中文语法纠错领域的预训练语言模型对语法知识进行建模的有效性。(2)在预训练语言模型的基础上,构建基于改进序列标注的中文语法纠错模型。本文首先将特定于中文语法纠错任务的输入放入基于知识图谱的预训练语言模型中并端到端地微调所有参数,然后针对词序错误在已有的语法纠错标签中增加了SWAP类型的标签以简化标签集合,针对标签冲突问题提出合并多标签方案,最后在模型输出层中引入特定于语法纠错领域的两个网络联合学习,相互协调,促使模型学习正确的上下文以在正确的位置上进行纠错。实验结果验证了改进的序列标注方法对该模型的影响,表明基于改进序列标注的中文语法纠错模型的可行性。(3)设计并开发了中文语法纠错平台。此平台通过Flask框架利用训练后的模型开发了中文语法纠错API接口,通过Vue框架设计并开发了前端语法纠错Web页面,实现了中文语法错误自动校对的功能。

关键词：中文语法纠错序列标注模型预训练语言模型知识图谱

基于ERNIE-CRF-ESL安全隐患文本结构化解析

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

北京邮电大学学报 2021年第5期44卷 107-113页

作者：艾新波郭彦君谢云昊陈成北京邮电大学人工智能学院北京100876 北京邮电大学现代邮政学院北京100876

安全隐患描述文本是通过自然语言描述进行记录的,具有主观随意性问题,现有的序列标注相关模型无法从中提取关键知识信息.根据安全隐患描述文本的特点,首先设计了一种适用于安全隐患描述文本的序列标注方法,提出了基于知识集成的增强表示... 详细信息

安全隐患描述文本是通过自然语言描述进行记录的,具有主观随意性问题,现有的序列标注相关模型无法从中提取关键知识信息.根据安全隐患描述文本的特点,首先设计了一种适用于安全隐患描述文本的序列标注方法,提出了基于知识集成的增强表示(ERNIE)模型的进行词向量特征提取,在其基础上通过融合条件随机场(CRF)模块和信息提取(ESL)模块,构建了一种安全生产隐患描述文本结构化解析方法.在某超大城市的安全隐患描述文本上进行了实验,实验结果表明,所提模型在文本结构化解析任务的精确率达到了65.1%,可以从城市安全隐患非结构化数据中获取更多的知识信息,进而规范化安全隐患排查记录工作。

关键词：安全隐患描述文本结构化解析序列标注模型

在线全文

学校读者我要写书评

暂无评论

基于领域情感词典特征表示的细粒度意见挖掘

中文信息学报 2019年第2期33卷 112-121页

作者：郁圣卫卢奇陈文亮苏州大学计算机科学与技术学院江苏苏州215006

细粒度意见挖掘的主要目标是从观点文本中获取情感要素并判断情感倾向。现有方法大多基于序列标注模型,但很少利用情感词典资源。该文提出一种基于领域情感词典特征表示的细粒度意见挖掘方法,使用领域情感词典在观点文本上构建特征表示... 详细信息

细粒度意见挖掘的主要目标是从观点文本中获取情感要素并判断情感倾向。现有方法大多基于序列标注模型,但很少利用情感词典资源。该文提出一种基于领域情感词典特征表示的细粒度意见挖掘方法,使用领域情感词典在观点文本上构建特征表示并将其加入序列标注模型的输入部分。首先构建一份新的电商领域情感词典,然后在电商评论文本真实数据上,分别为条件随机场(CRF)和双向长短期记忆-条件随机场(BiLSTM-CRF)这两种常用序列标注模型设计基于领域情感词典的特征表示。实验结果表明,基于电商领域情感词典的特征表示方法在两种模型上都取得了良好的效果,并且超过其他情感词典。

关键词：细粒度意见挖掘情感词典特征表示序列标注模型

在线全文

学校读者我要写书评

暂无评论

基于文本的情绪自动归因方法研究

基于文本的情绪自动归因方法研究

作者：袁丽哈尔滨工业大学

学位级别：硕士

情绪作为人类与生俱来的特征,在自然语言处理和人工智能研究中扮演着越来越重要的作用,所以情绪计算在认知科学研究中具有积极的应用意义。同时,随着互联网技术的发展,海量的个人情绪观点都融入到了互联网这个大环境里,因此情绪计算和... 详细信息

情绪作为人类与生俱来的特征,在自然语言处理和人工智能研究中扮演着越来越重要的作用,所以情绪计算在认知科学研究中具有积极的应用意义。同时,随着互联网技术的发展,海量的个人情绪观点都融入到了互联网这个大环境里,因此情绪计算和研究也具有紧迫的现实意义。目前,情绪方面的研究主要集中在文本情绪分析和文本情绪预测方向,但对于深层次的文本情绪归因则相对较少。文本情绪归因研究从文本中自动识别导致个体情绪产生和迁移的原因的方法。现有的主要工作可以分为文本情绪归因语料库构建和从文本中提取触发情绪产生原因的方法研究。由于文本情绪归因语料库在标注的过程中需要大量的人工参与,所以缺乏标准的、公开的语料库,这也导致了文本情绪归因的规则提取和模型构建研究的不成熟;并且,由于该研究处于刚刚起步阶段,所以文本情绪归因模型和特征的研究也尚处于起步阶段。本课题研究分为主要分为三个方面:第一,作为文本情绪归因的基础,首先构建基于微博文本的情绪归因语料库,并通过对语料库进行分析,发现文本情绪原因的统计规律。第二,在对语料库的统计分析基础上,结合微博文本的特点,提取了八个微博语义情绪归因规则。增加这些规则后,采用规则优先级算法,系统的宽松准确率提高了26.73%;同时,为了解决规则优先级算法带来的规则冲突,提出使用基于转换的错误驱动学习算法,使得系统的宽松准确率提高了3.16%;第三,进一步利用统计模型结合语言学特征和距离、语法等特征进行自动文本情绪归因,与基于规则的系统相比,系统的宽松准确率进一步提高了7.92%;该研究还利用主题模型提取了情绪认知知识和情绪语义知识特征,相较于基于语言学特征,距离、语法特征的系统,宽松正确率提高了3.05%;本研究主要的贡献为:第一,构建了基于微博文本的情绪归因语料库,其为世界上面向微博领域内规模最大的文本情绪归因语料库,为后期的模型构建提供数据基础和数据统计依据;第二,设计了微博文本情绪归因规则,该规则能够有效的提高系统的正确率,并使用基于规则优先级算法和基于错误驱动学习算法进行文本情绪归因;第三,将文本情绪归因分别看作是分类和序列标注问题,并且结合主题模型提取的情绪语义和认知特征进行文本情绪归因,该部分研究为以后基于情绪认知知识的深入研究提供了参考。

关键词：文本情绪归因原因语料库构建序列标注模型主题模型

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合知识的中文医疗实体识别模型

智能计算机与应用 2021年第3期11卷 94-97页

作者：刘龙航赵铁军哈尔滨工业大学计算机科学与技术学院哈尔滨150001

从医疗文本中抽取知识对构建医疗辅助诊断系统等应用具有重要意义。实体识别是其中的核心步骤。现有的实体识别模型大都是基于标注数据的深度学习模型,非常依赖高质量大规模的标注数据。为了充分利用已有的医疗领域词典和预训练语言模型... 详细信息

从医疗文本中抽取知识对构建医疗辅助诊断系统等应用具有重要意义。实体识别是其中的核心步骤。现有的实体识别模型大都是基于标注数据的深度学习模型,非常依赖高质量大规模的标注数据。为了充分利用已有的医疗领域词典和预训练语言模型,本文提出了融合知识的中文医疗实体识别模型。一方面基于领域词典提取领域知识,另一方面,引入预训练语言模型BERT作为通用知识,然后将领域知识和通用知识融入到模型中。此外,本文引入了卷积神经网络来提高模型的上下文建模能力。本文在多个数据集上进行实验,实验结果表明,将知识融合到模型中能够有效提高中文医疗实体识别的效果。

关键词：实体识别序列标注模型融合知识