检索结果-南通市图书馆

基于bert预训练的矿山事故事件抽取方法研究

在线全文

学校读者我要写书评

暂无评论

基于BERT预训练的矿山事故事件抽取方法研究

作者：冯兆阳临沂大学

学位级别：硕士

随着智慧矿山政策的提出,加强矿山安全监管,通过建立严格的矿山安全管理体系和监管机制,对矿山安全进行有效监管成为矿山生产作业的重中之重。但是不同类型的矿山事故文本提高了文档理解和信息获取的难度。因此将自然语言处理技术应用... 详细信息

随着智慧矿山政策的提出,加强矿山安全监管,通过建立严格的矿山安全管理体系和监管机制,对矿山安全进行有效监管成为矿山生产作业的重中之重。但是不同类型的矿山事故文本提高了文档理解和信息获取的难度。因此将自然语言处理技术应用到矿山事故文本,通过信息抽取将非结构化的文本数据转换为结构化的知识,促进智慧矿山的安全发展。本文面向中文矿山事故,构建了一个矿山事故事件数据集,解决了矿山文本领域的数据空白问题。对事件抽取和基于图像增强的多模态事件抽取进行了研究,提高了事件抽取的准确性。并基于矿山事故知识库构建了知识图谱,实现了矿山事故事件的可视化应用。各部分完成工作如下:(1)数据集的获取与标注:以矿山事故新闻为数据源,通过网络爬虫技术获取新闻报道的文本数据;结合专家知识,使用Doccano平台进行众包半自动化的文本标注,内容为事件类型、事件触发词、事件论元、论元角色与文本跨度。(2)事件抽取方法研究:提出了一种基于双重机器阅读理解的事件抽取模型,将分类任务转换为跨度提取任务。该模型针对数据集设计了问题模板,给予模型更多的先验知识,通过bert预训练的方式进行输入表示。在实验结果中,该模型事件触发词抽取的F1值为74.6,事件论元抽取的F1值为54.3,优于先前的模型。并且在矿山事故事件数据集上验证了模型的性能,证明了模型的可靠性与鲁棒性。(3)事件抽取方法优化:提出了一种基于Transformer图像增强的事件抽取模型,该方法通过引入图像数据库,并将图像经过场景图转换作为辅助信息,协助文本事件的抽取。该模型将文本表示和图像表示映射到同一向量空间,便于距离计算。在实验结果中,事件触发词抽取和事件论元抽取任务的准确率都得到了提升。(4)矿山事故事件知识图谱可视化应用设计:本文基于构建的矿山事故事件知识库与事件抽取模型构建了可视化应用系统。该系统采用前后端分离的设计模式,数据存储采用MYSQL和Neo4j结合的方式。该系统基于Echarts将查询的事件信息进行可视化展示。

关键词：矿山事故 bert预训练机器阅读理解事件抽取多模态

一种基于注意力机制的bert-CNN-GRU检测方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：郑雅洲刘万平黄东重庆理工大学计算机科学与工程学院贵州大学现代制造技术教育部重点实验室

针对现有检测方法对短域名检测性能普遍较差的问题，提出了一种bert-CNN-GRU 结合注意力机制的检测方法。首先通过bert提取域名的有效特征和字符间组成逻辑，再通过并行的融合简化注意力的卷积神经网络(CNN)和基于多头注意力机制的门控... 详细信息

针对现有检测方法对短域名检测性能普遍较差的问题，提出了一种bert-CNN-GRU 结合注意力机制的检测方法。首先通过bert提取域名的有效特征和字符间组成逻辑，再通过并行的融合简化注意力的卷积神经网络(CNN)和基于多头注意力机制的门控循环网络(GRU)提取域名深度特征。使用形如n-gram排布的CNN能够提取不同层次的域名信息，采用批标准化(Batch Normalization， BN)对卷积结果进行优化；使用GRU能够更好获取前后域名的组成差异，加上多头注意力机制善于捕获域名内部的组成关系。对并行检测网络输出的结果进行拼接，在最大限度上利用了两种网络的优势，采用局部损失函数，聚焦域名分类问题，最终提高了分类性能。实验结果表明：在二分类上，模型达到了最优效果，在短域名多分类数据集上15分类的Weighted F1-score达到了86.21%，比BiLSTM-Seq-Attention模型提高了0.88%，在UMUDGA数据集上50分类的Weighted F1-score达到了85.51%，提高了0.45%，并且模型对变体域名和单词DGA检测性能出众，具有域名数据分布不平衡检测能力和更广泛的检测性能。

关键词：恶意短域名 bert预训练批标准化注意力机制 GRU 并行CNN

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于注意力迁移的跨语言关系抽取方法

计算机应用研究 2022年第2期39卷 417-423页

作者：吴婧杨百龙田罗庚火箭军工程大学信息与通信工程系西安710000 国防科技大学信息通信学院西安710000

针对互联网上日渐丰富的多语言文本和匮乏大规模标注平行语料库的问题,为了从多语言的信息源挖掘语言间的关联性与扩展知识图谱,提出了基于注意力迁移的跨语言关系提取方法。首先针对语言间的实际平行语料情况,分类进行跨语言平行语料映... 详细信息

针对互联网上日渐丰富的多语言文本和匮乏大规模标注平行语料库的问题,为了从多语言的信息源挖掘语言间的关联性与扩展知识图谱,提出了基于注意力迁移的跨语言关系提取方法。首先针对语言间的实际平行语料情况,分类进行跨语言平行语料映射,并针对缺乏种子词典的低资源语言对,提出神经网络翻译模型获取目标语言数据集并保存多语言间的对应注意力权重关系,然后利用bert端对端的联合抽取模型抽取训练数据实体关系特征,反向迁移语言间注意力权重关系,最后利用反向迁移的注意力进行增强的关系抽取。实验表明,该模型的关系提取效果相比其他模型在准确率和回归上都有所提升,在缺乏双语词典情况下也表现出较好的性能。

关键词：神经机器翻译关系提取无监督注意力迁移 bert预训练

基于预训练和注意力机制的抽取式机器阅读理解算法研究

在线全文

学校读者我要写书评

暂无评论

基于预训练和注意力机制的抽取式机器阅读理解算法研究

作者：董金琳上海财经大学

学位级别：硕士

当下,人们期待各类设备能够越来越“智能”,期待省去各种手动操作,直接进行自然语言的信息交互.想要实现这样的交互,机器阅读理解是核心的技术.近十年来,越来越多的学者投入到相关的研究工作中,各种结合注意力机制、预训练模型的算法涌... 详细信息

当下,人们期待各类设备能够越来越“智能”,期待省去各种手动操作,直接进行自然语言的信息交互.想要实现这样的交互,机器阅读理解是核心的技术.近十年来,越来越多的学者投入到相关的研究工作中,各种结合注意力机制、预训练模型的算法涌现,推动了这一技术任务的发展.本文对已有的研究成果进行学习和总结,发现一批经典模型围绕信息交互问题进行了针对性的结构设计,所用的技术方法包括注意力机制、循环神经网络、卷积神经网络等,但语义交互不充分的问题仍然存在.另外,当下的研究也关注到了实际阅读理解中的无答案情形,现有的模型很难同时进行结果判断和答案筛选.针对以上两方面问题,本文借助已有的预训练语言模型,研究了互注意力机制、自注意力机制、BiLSTM、高速路网络等的模块,得到了一个能够根据文本问题,较为准确地给出相应答案的有效算法.算法整体基于编码层-交互层-输出层的框架搭建,在编码层借助bert预训练模型的强大表征能力,在交互层设计增强信息交互的结构,采用多层互注意力机制,并充分利用模型计算所得到的历史数据,加入针对起止点不同侧重的自注意力机制,提高模型对文本信息的理解能力、对文本的信息筛选能力.另外,应对无答案情形,设计了将粗判信息和细读信息相融合,从粗判信息对样本有无答案的判断准确性、粗判信息和细读信息的判断相近性、最终概率进行答案抽取的预测准确性三个方面设计损失函数,得到了一种基于bert和注意力机制的抽取式机器阅读理解算法.在公开数据集SQuAD2.0上的实验结果表明,与基线模型相比,改进模型的各个结构能够有效提升无答案情形的准确率,完善基线模型的信息交互能力,缓解概率干扰问题,能够在一定程度上提升全样本数据集的准确性.

关键词： bert预训练注意力机制无答案情形机器阅读理解

政情民意中舆情话题识别功能增强的智能工单派送研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

政情民意中舆情话题识别功能增强的智能工单派送研究

作者：王小楠南京邮电大学

学位级别：硕士

政情民意的起源可以追溯到古代“民本思想”,中国古代统治者对公众舆论的关注和运用源于他们“以人为本”的思想。现代社会“电子政务服务热线”是体现政情民意、反映市民和城市问题、解决市民政务服务需求的重要渠道,此过程强调电子政... 详细信息

政情民意的起源可以追溯到古代“民本思想”,中国古代统治者对公众舆论的关注和运用源于他们“以人为本”的思想。现代社会“电子政务服务热线”是体现政情民意、反映市民和城市问题、解决市民政务服务需求的重要渠道,此过程强调电子政务资源中政务服务热线的合理利用,提高对市民的服务响应和问题的解决效率。在新的历史条件下,“互联网+政务服务”已逐渐成为政府以“互联网+”为主体的公共服务手段。本文通过数据分析和挖掘,运用智能化手段展现出市民通过政务服务热线表达的民生诉求及其地区分布,了解市民亟待解决的问题和城市矛盾的主要来源,并对政府服务热线的流程进行优化,形成良好的社会治理流程和格局。本文在广泛梳理与分析国内外关于政情民意的研究文献和资料的基础上,提出LDA话题模型提取政情民意中的主要舆情话题,设计困惑度和主题一致性指标实证分析,提取到政情民意舆情中的话题数量和话题内容,研究不同话题的时间分布规律和空间分布模式,验证了主题模型和指标在政情民意中的有效性。针对原始的诉求工单分类效果不佳的问题,提出将工单派送研究拓展为多维度特征提取问题,设计LDA无监督学习模型和bert预训练特征融合方法实现诉求信息的潜在空间表示。使用LDA模型获取政情民意中的主题信息并融合bert预训练模型编码政情民意中的语义表征信息。构建完成LDA＿bert的特征融合基础上,将文本特征输入softmax、KNN和SVM分类器中用于模型训练和工单派送。实验结果表明,与原有基线分类模型相比,本文提出的融合LDA＿bert特征抽取与支持向量机的分类模型在政情民意领域下的智能工单派送任务中准确率、精确率、召回率和F1值各指标都有所提升,验证了LDA＿bert特征提取和SVM在工单派送模型中的有效改进。

关键词：数字政府政情民意 LDA话题模型 bert预训练智能派送

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多层次特征提取的中文医疗实体识别

计算机技术与发展 2023年第9期33卷 119-125页

作者：李正辉廖光忠武汉科技大学计算机科学与技术学院湖北武汉430065 武汉科技大学智能信息处理与实时工业系统湖北省重点实验室湖北武汉430065

中文医疗实体识别是医疗领域文本信息处理的基础,但中文医疗文本中常常存在语法不规范、实体嵌套和类型易混淆等问题易造成实体识别精度下降,因此确保中文医疗实体识别的准确度具有较大的理论研究和实际应用价值。为此,提出一种融合BER... 详细信息

中文医疗实体识别是医疗领域文本信息处理的基础,但中文医疗文本中常常存在语法不规范、实体嵌套和类型易混淆等问题易造成实体识别精度下降,因此确保中文医疗实体识别的准确度具有较大的理论研究和实际应用价值。为此,提出一种融合bert预训练、双向长短期记忆网络(BILSTM)和结合注意力机制的空洞卷积网络(IDCNN)的实体识别模型来提升中文医疗实体识别的精度。起先,使用bert预训练语言模型使中文字符转换为词向量并增强其语法语义特征;而后将训练好的词向量分别通过BILSTM网络和加入注意力机制的IDCNN网络获取上下文信息和更大的感受野;最终将蕴含语法语义特征、上下文信息和更大的感受野信息的特征融合并输入到条件随机场(CRF)中进行实体预测。在两个公开的医疗数据集CMeEE/Yidu-S4K上的实验表明,该模型的F1值分别达到了0.7116和0.8206,较主流模型分别提高了1.40百分点和2.29百分点,验证了此模型在中文医疗实体识别上的有效性。

关键词：实体识别 bert预训练空洞卷积网络注意力机制感受野

基于神经网络语言模型的藏文语义检索方法研究

在线全文

学校读者我要写书评

暂无评论

基于神经网络语言模型的藏文语义检索方法研究

作者：肖宇西藏大学

学位级别：硕士

随着信息全球化进程的加速,人们的生活、工作和学习方式也在迅速地发生着改变,这同时也推动了少数民族语言文字网络化应用的发展。近年来,藏文信息在网络上也日益丰富起来。如何从海量的网络信息资源中快速并准确地找出满足用户需求的... 详细信息

随着信息全球化进程的加速,人们的生活、工作和学习方式也在迅速地发生着改变,这同时也推动了少数民族语言文字网络化应用的发展。近年来,藏文信息在网络上也日益丰富起来。如何从海量的网络信息资源中快速并准确地找出满足用户需求的藏文信息,成为当前藏文信息处理技术亟需解决的问题。传统的信息检索更多是基于关键词匹配进行检索,仅考虑词与词之间的字面匹配,忽略了语义层面的关联信息,然而藏文语法形式多样,一词多义等现象较为普遍,这就使得用户检索体验差强人意。综上,本文将神经网络语言模型引入藏文信息检索技术,通过bert预训练来提取查询词和文档之间的语义关系,进而改善藏文语义检索的性能。本论文的工作内容及主要贡献如下:1、针对藏文没有公开数据集的问题,本文利用爬虫工具从西藏新闻网、中国西藏网、西藏日报、青海湖藏文网等网站收集藏文新闻语料作为预训练模型的训练数据集,并搜集了中国藏族网通的数据作为藏文语义检索的数据集,之后并建立了预训练bert语言模型。2、将bert预训练藏文语言模型进行微调,进而适用于藏文语义检索任务。充分挖掘文档与查询词之间的语义信息;计算文档与查询之间的线性组合概率分布,并利用该分布计算文档与查询词之间的相似度,最后返回与查询关键词相关性最高的N个文档,从而得到用户查询的语义信息,返回用户查询语义信息最高3、通过对比预训练bert藏文语义检索模型和TF-IDF、词向量在信息检索任务中的性能差异,验证了本文方法的有效性,进一步提升了藏文语义检索的性能。结果表明:在综合评估率上,高于传统的基于关键词的检索方法24.31%,高出了基于词向量的语义检索方法19.57%。4、针对以上实验,研发了简单的藏文语义检索系统。其能够对语料库内容进行全文检索,检索结果页面从上到下按照语义相关度高低进行排序。

关键词：神经网络语言模型藏文语义检索 bert预训练

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习意图识别和槽位填充研究

基于深度学习意图识别和槽位填充研究

作者：于宽吉林大学

学位级别：硕士

意图识别是一个句子分类任务,用来识别句子意图。而槽位填充则是一个序列标注问题,所谓的槽位就是这个词的语义信息。现在有许多成熟的理论去研究这个任务,在应用上已经有许多比较成熟的成果,比如聊天机器人阿里小蜜等。它们能根据和你... 详细信息

意图识别是一个句子分类任务,用来识别句子意图。而槽位填充则是一个序列标注问题,所谓的槽位就是这个词的语义信息。现在有许多成熟的理论去研究这个任务,在应用上已经有许多比较成熟的成果,比如聊天机器人阿里小蜜等。它们能根据和你的对话判断你说话的意图并给出答案。在类似淘宝客服这种机构扮演着重要的角色,节省了大量人力物力。当然意图识别领域发展也存在着许多不足甚至是障碍,比如数据集匮乏等问题。本文主要对各种意图识别槽位填充的模型进行研究,多角度对比模型优劣并对新的模型进行了研究。现在意图识别槽位填充的主流研究方法都是基于联合模型的研究,把本来的两个任务通过参数共享的方式联合学习,取得了不错的进展。本文的研究也聚焦于联合模型。以下是本文的主要研究内容:(1)本文将TOKEN算法应用于中文数据集SMP2019。TOKEN算法是在英文数据集ATIS和SNIPS上的意图识别和槽位填充算法。ATIS,SNIPS数据集与SMP2019数据集存在着语言和任务上的差异,无法将TOKEN算法直接应用在SMP2019数据集。因此本文参考TOKEN算法的原代码和论文,改写并扩充了SMP2019的官方baseline,将TOKEN算法成功应用于SMP2019数据集;(2)目前意图识别和槽位填充的研究大多集中于英文数据集ATIS和SNIPS,本文通过7种模型在中文数据集SMP2019上的对比实验,对其结果进行分析,探讨了每一个模型的优点和缺点,以及模型间融合的可能性;(3)本文将SF-ID算法和TOKEN算法结合起来。TOKEN算法的特点在于把句子级分类任务转化为字级别分类任务,所以本文引入字意图向量和字领域向量的概念来表示一个字所包含的句子意图信息和句子领域信息。在SF-ID算法中,还是把意图分类和领域分类看做句子级分类任务,并没有考虑字的意图信息和领域信息与字的槽位信息的依赖关系,只使用句子级向量进行信息融合。这种融合方式会产生很多的冗余信息。本文放弃句子级向量,使用字级别向量进行信息融合,很大程度上避免冗余信息带来的影响。实验中本文方法在准确率和f1值上都取得了不错的提升;(4)基于TOKEN算法使用意图信息增强领域信息。通过实验发现意图分类的分类效果最好。所以本文结合TOKEN算法,将意图分类和领域分类两个句子级分类任务看做字级分类任务。而槽位填充任务是一个序列标注问题,也可以理解为字级分类任务。这样,就可以类比意图分类任务和槽位分类任务的关系,用相似的方法得到基于意图信息增强的领域信息。实验效果相比较前面的方法在领域分类准确率和槽位标注f1值上都有一定程度的提升;(5)考虑到中文数据集的特点,使用百度的ERNIE代替bert作为预训练模型,然后加上本文的模型,发现实验结果仍然有一定提升。

关键词：深度学习自然语言处理 bert预训练意图识别槽位填充

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

结构特征一致性约束的双语平行句对抽取

重庆大学学报 2021年第1期44卷 46-56页

作者：毛存礼高旭余正涛王振晗高盛祥满志博昆明理工大学信息工程与自动化学院昆明650500 昆明理工大学云南省人工智能重点实验室昆明650500

平行句对抽取是解决低资源神经机器翻译平行语料不足的有效途径。基于孪生神经网络的平行句对抽取方法的核心是通过跨语言语义相似度判断2个句子是否平行,在相似的语言对上取得了非常显著的效果。然而针对英语东南亚语言双语句对抽取任... 详细信息

平行句对抽取是解决低资源神经机器翻译平行语料不足的有效途径。基于孪生神经网络的平行句对抽取方法的核心是通过跨语言语义相似度判断2个句子是否平行,在相似的语言对上取得了非常显著的效果。然而针对英语东南亚语言双语句对抽取任务,面临语言空间和句子长度存在较大差异,仅考虑跨语言语义相似度而忽略句子长度特征会导致模型对仅有语义包含关系但不平行句对的误判。笔者提出一种结构特征一致性约束的双语平行句对抽取方法,该方法是对基于孪生神经网络的双语平行句对抽取模型的扩展,首先通过多语言bert预训练语言模型在嵌入层将两种语言编码到同一语义空间,以此缩小语义空间中语言的差异。其次分别对两种语言句子的长度特征进行编码,与孪生网络编码后的句子语义向量进行融合,增强平行句对在语义及结构特征上的表示,降低模型对语义相似但不平行句对的误判。在英缅双语数据集上进行实验,结果表明提出的方法相比基线模型准确率提高了4.64%,召回率提高了2.52%,F 1值提高了3.51%。

关键词：双语平行句对低资源语言 bert预训练孪生网络结构