检索结果-南通市图书馆

基于预训练语言模型与多任务学习的事件检测方法

在线全文

学校读者我要写书评

暂无评论

南京理工大学学报 2023年第6期47卷 748-755页

作者：韩如雪杨苗宫小泽胡镑王永利熊伟赵显伟徐琳中国电子科技集团公司第二十七研究所河南郑州451161 南京理工大学计算机科学与工程学院江苏南京210094 63863部队吉林白城137001 信息系统工程重点实验室江苏南京210023

为了解决现有事件检测方法存在语料稀疏和触发词一词多义导致的触发词抽取不准确以及类型判断错误等问题,该文将双向Transformer编码表示(BERT)的预训练模型与条件随机场(CRF)结合,并联合多任务学习,提出了一种基于BERT-CRF模型与多任... 详细信息

为了解决现有事件检测方法存在语料稀疏和触发词一词多义导致的触发词抽取不准确以及类型判断错误等问题,该文将双向Transformer编码表示(BERT)的预训练模型与条件随机场(CRF)结合,并联合多任务学习,提出了一种基于BERT-CRF模型与多任务学习的事件检测方法(MBCED)。该方法同时进行事件检测任务和词义消歧任务,将词义消歧任务中学习到的知识转移到事件检测任务中,既补充了语料,也缓解了一词多义所导致的触发词分类不准确问题。在ACE2005数据集上的传统事件检测模型对比实验结果表明,与动态多池卷积神经网络(DMCNN)、基于循环神经网络的联合模型(JRNN)、基于双向长短期记忆和条件随机场(BiLSTM-CRF)的联合模型、BERT-CRF方法相比,MBCED方法触发词识别的F值提升了1.2%。多任务学习模型对比实验结果表明,与基于多任务深度学习的实体与事件联合抽取(MDL-J3E)模型、基于共享BERT的多任务学习(MSBERT)模型、基于CRF多任务学习的事件抽取模型(MTL-CRF)相比,MBCED在触发词识别和触发词分类2个子任务上的准确率都较好。

关键词：词义消歧预训练模型多任务学习事件检测语料稀疏触发词识别条件随机场触发词分类

在线全文

学校读者我要写书评

暂无评论

基于句法和全文信息增强的中文事件检测方法

数据采集与处理 2022年第5期37卷 1059-1069页

作者：王红吴浩正中国民航大学计算机科学与技术学院天津300300

针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法... 详细信息

针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法关系来增强词语的特征表示。之后采用双向门控循环单元(Bidirectional gate recurrent unit,Bi-GRU)分别学习句子内和句子之间的上下文信息,得到包含文章全局信息的句向量。最后将字、词、句3个粒度的信息通过门结构进行动态融合,使用条件随机场(Conditional random field,CRF)完成对句子中触发词的识别和标注。在ACE2005和CEC中文数据集上的实验结果表明,本文方法有效提升了中文事件检测的效果。

关键词：事件检测依存句法分析特征增强全文信息图卷积神经网络双向门控循环单元

在线全文

学校读者我要写书评

暂无评论

事件检测任务中数据增强技术的研究

事件检测任务中数据增强技术的研究

作者：丁晶晶东华大学

学位级别：硕士

事件检测是自然语言处理领域的一个子任务,其目的是识别句子中的事件,具有重要的应用价值。当前现有的人工标注语料库如ACE和KBP规模较小,很大程度上阻碍了基于神经网络的事件检测方法的进一步研究。另外,现有的事件检测模型存在无法解... 详细信息

事件检测是自然语言处理领域的一个子任务,其目的是识别句子中的事件,具有重要的应用价值。当前现有的人工标注语料库如ACE和KBP规模较小,很大程度上阻碍了基于神经网络的事件检测方法的进一步研究。另外,现有的事件检测模型存在无法解决文本长依赖问题。本文提出了基于触发词感知的回译数据增强方法来解决低资源事件检测任务中的深度学习模型训练问题,针对文本长依赖问题提出了基于Transformer的事件检测模型。本文的具体贡献如下:（1）针对模型训练数据不足问题,提出了基于触发词感知的回译数据增强方法。通过回译可以使句子在保留语义的同时结构顺序发生变化。若将该方法生成的数据加入训练数据,有利于训练的模型更深入理解文本,然而,在回译过程中数据的标注信息丢失了,导致新生成的数据没有标签。为了解决这一问题,本文创新性地设计了一种基于触发词感知的标注对齐算法。另外为了减少生成数据中的噪声对事件识别模型训练的影响,本文在识别模型训练过程中当使用生成数据时采用多示例学习（multiple-instance learning,MIL）方法进行择优筛选。在ACE2005中文数据集上,使用该方案的CNN模型的事件识别F1值提高了2.73%,使用该方案的Bi-LSTM模型的事件识别F1值提高了3.87%,这表明了基于触发词感知的数据增强方法的有效性。（2）提出了基于Transformer的事件检测模型。由于常用的循环神经网络或卷积神经网络无法很好地解决文本中的长依赖问题,这使得模型对文本理解能力较弱。本文首次将Transformer模型用于事件检测任务中,该模型包括一个基于句子的编码器和一个基于词语的分类器。在ACE2005中文数据集上的实验表明,使用基于Transformer模型取得的事件识别F1值与CNN或Bi-LSTM取得效果相当,但若同时应用基于触发词感知的回译数据增强方法和多示例学习方法,Transformer模型上得到的事件识别F1值是66.26%,相较于其他应用同样方案的模型,该实验结果最好,这验证了Transformer模型相较于其他模型有一定的优势。之后还分析研究了Transformer编码器中相关参数对任务中识别和判断事件的影响。（3）本文设计并实现了一个新闻事件抽取系统,用以实现对重要新闻事件的结构化提取。本文使用***框架对系统前端进行实现,使用Spring boot框架对系统后端进行设计实现,实现了用户管理、模型管理、模型选择、新闻事件抽取等功能,在一定程度上实现了对重要新闻事件的结构化提取和管理的需求。

关键词：事件检测数据增强触发词感知回译 Transformer

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

事件检测与非侵入式负荷辨识方法研究

事件检测与非侵入式负荷辨识方法研究

作者：冷静电子科技大学

学位级别：硕士

随着科技的飞速进步,电能的消耗不断扩大,各国用电形势日趋紧张,为解决电力供需不平衡问题,推动建设智能电网,指导用户合理规划用电,需要推行电力需求侧的智能化管理。用户侧电力能耗监测是需求侧管理的重要环节,传统的用户能耗监测方... 详细信息

随着科技的飞速进步,电能的消耗不断扩大,各国用电形势日趋紧张,为解决电力供需不平衡问题,推动建设智能电网,指导用户合理规划用电,需要推行电力需求侧的智能化管理。用户侧电力能耗监测是需求侧管理的重要环节,传统的用户能耗监测方法需要在监测区域内每一个用电负荷处安装传感器等装置,采集用户负荷用电数据,这种侵入式的监测方法在安装和维护时需要消耗大量人力物力成本,同时用户接受度较低,不便于推广使用。因此,非侵入式的辨识方法受到广泛关注,该方法不需要进入用户内部安装传感装置,仅需采集用户入口处的总线数据,分析负荷特征信息,就能实现负荷辨识。相较于传统侵入式技术,非侵入式的辨识方法硬件成本更低,维护更方便,用户接受度也更高,将逐渐取代侵入式监测技术。在非侵入式负荷辨识流程中,事件检测和负荷辨识算法的性能关系到辨识结果的准确性,本文主要对此展开研究。在事件检测环节,主流的非参数化CUSUM算法中,噪声系数是事先设定好的值,对于稳态运行时功率有较大不规则振荡的负荷会出现误检行为,本文优化了噪声系数的设定,改为随滑动窗口动态更新,同时针对检测过程中可能将干扰信号检测成负荷事件的问题,引入反馈验证环节,有效防止了误检行为的发生。同时,针对CUSUM算法只考虑了事件发生时刻而忽略了事件发生后系统何时进入稳态的问题,提出了一种加方差窗的方法,检测事件发生后系统何时进入稳态,为稳态波形的提取提供保证。在负荷辨识部分,分析了统计学方法、机器学习方法以及深度学习方法在负荷辨识领域的表现情况以及适用场景,改进了深度学习网络的结构模型,调整了网络超参数,经过实验验证,改进的网络与原模型相比,优化了运行时间,提升了算法性能。本文研究工作由以下各部分组成:(1)阐述非侵入式负荷辨识相关理论,分析并构建负荷稳态特征数据库。(2)研究非侵入式负荷辨识中的事件检测算法,将气候学领域的BernaolaGalvan启发式分割算法首次应用于本领域研究中,验证该算法对历史数据的事件发生点检测的准确性;同时采用CUSUM实时在线检测算法,并对传统的CUSUM算法做了改进,动态更新噪声系数,引入反馈验证环节,防止误检行为发生,检测到事件后引入方差窗,确定系统何时进入稳态,便于后续辨识工作的进行。(3)研究基于统计学、机器学习、神经网络的负荷辨识算法,分析各算法优劣性以及适用场景,优化深度学习的网络模型,运行时间大幅缩短,同时准确率有所提升。设计实验验证了本文所改进的事件检测算法和负荷辨识算法的准确性。

关键词：非侵入式辨识事件检测欧氏距离 XGBoost AlexNet

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于实体画像增强网络的事件检测方法

中文信息学报 2022年第8期36卷 81-91页

作者：李中秋洪宇王捷周国栋苏州大学计算机科学与技术学院江苏苏州215006

事件检测任务旨在从非结构化的文本中自动识别并分类事件触发词。挖掘和表示实体的属性特征(即实体画像)有助于事件检测,其基本原理在于“实体本身的属性往往暗示了其参与的事件类型”(例如,“警察”往往参与“Arrest-Jail”类的事件)... 详细信息

事件检测任务旨在从非结构化的文本中自动识别并分类事件触发词。挖掘和表示实体的属性特征(即实体画像)有助于事件检测,其基本原理在于“实体本身的属性往往暗示了其参与的事件类型”(例如,“警察”往往参与“Arrest-Jail”类的事件)。现有研究已利用编码信息实现实体表示,并借此优化事件检测模型。然而,其表示学习过程仅仅纳入局部的句子级语境信息,使得实体画像的信息覆盖率偏低。为此,该文提出基于全局信息和实体交互信息的画像增强方法,其借助图注意力神经网络,不仅在文档级的语境范围内捕捉实体的高注意力背景信息,也同时纳入了局部相关实体的交互信息。特别地,该文开发了基于共现图的注意力遮蔽模型,用于降低噪声信息对实体表示学习过程的干扰。在此基础上,该文联合上述实体画像增强网络、BERT语义编码网络和GAT聚合网络,形成了总体的事件检测模型。该文在通用数据集ACE 2005上进行实验,结果表明实体画像增强方法能够进一步优化事件检测的性能,在触发词分类任务上的F值达到76.2%,较基线模型提升了2.2%。

关键词：事件检测实体特征全局语义图注意力网络

在线全文

学校读者我要写书评

暂无评论

融合多特征的藏文新闻热点事件检测研究

中文信息学报 2023年第2期37卷 53-61页

作者：孔春伟吕学强张乐赵海兴青海师范大学计算机学院青海西宁810008 北京信息科技大学网络文化与数字传播北京市重点实验室北京100101

针对藏文舆情分析需求,该文以藏文新闻文本数据为研究对象,提出一种融合多特征的藏文新闻热点事件检测方法。首先研究藏文新闻热点事件产生的特点,分析热词的词频、词频增长率、网站影响力特征,提出热度度量方法,通过热度过滤获取热词... 详细信息

针对藏文舆情分析需求,该文以藏文新闻文本数据为研究对象,提出一种融合多特征的藏文新闻热点事件检测方法。首先研究藏文新闻热点事件产生的特点,分析热词的词频、词频增长率、网站影响力特征,提出热度度量方法,通过热度过滤获取热词集。其次分析事件词对分布特点,建立词对生成模型和词对语义引力模型,通过热度筛选获取词对集。最后采用凝聚式层次聚类方法,聚类混合表示的热词和词对,实现藏文新闻热点事件检测。测试结果表明,该方法最优F值达到0.6000,优于对比方法,可以较有效地检测热点事件,具有一定的应用价值。

关键词：事件检测热词词对语义引力层次聚类

融入中文语义信息及越南语句法特征的越南语事件检测方法

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2022年第8期36卷 62-72页

作者：陈龙郭军军张亚飞高盛祥余正涛昆明理工大学信息工程与自动化学院云南昆明650500 昆明理工大学云南省人工智能重点实验室云南昆明650500

当前基于深度学习的事件检测模型都依赖足够数量的标注数据,而标注数据的稀缺及事件类型歧义为越南语事件检测带来了极大的挑战。根据“表达相同观点但语言不同的句子通常有相同或相似的语义成分”这一多语言一致性特征,该文提出了一种... 详细信息

当前基于深度学习的事件检测模型都依赖足够数量的标注数据,而标注数据的稀缺及事件类型歧义为越南语事件检测带来了极大的挑战。根据“表达相同观点但语言不同的句子通常有相同或相似的语义成分”这一多语言一致性特征,该文提出了一种融入中文语义信息及越南语句法特征的越南语事件检测框架。首先通过共享编码器策略和交叉注意力网络将中文信息融入越南语中,然后使用图卷积网络融入越南语依存句法信息,最后在中文事件类型指导下实现越南语事件检测。实验结果表明,在中文语义信息和越南语句法特征的指导下越南语事件检测取得了较好的效果。

关键词：事件检测越南语中文信息图卷积网络

在线全文

学校读者我要写书评

暂无评论

基于中文触发词指导的越南语新闻事件检测

中文信息学报 2023年第4期37卷 45-51页

作者：寇梦珂高盛祥余正涛毛存礼朱恩昌昆明理工大学信息工程与自动化学院云南昆明650500 昆明理工大学云南省人工智能重点实验室云南昆明650500

触发词的识别在事件检测任务中起着至关重要的作用。目前没有越南语触发词标记语料,而中文触发词标记语料较为丰富,根据表达相同观点但语言不同的句子通常有相同或相似的语义成分这一特征,该文提出一种基于中文触发词指导的越南语新闻... 详细信息

触发词的识别在事件检测任务中起着至关重要的作用。目前没有越南语触发词标记语料,而中文触发词标记语料较为丰富,根据表达相同观点但语言不同的句子通常有相同或相似的语义成分这一特征,该文提出一种基于中文触发词指导的越南语新闻事件检测方法。首先采用对抗学习的方法将两种语言映射到同一语义空间下,然后将映射后的中文触发词嵌入指导模型识别越南语新闻中的触发词信息,最后进行事件类型的分类。通过在越南语新闻事件检测的实验结果表明,在中文触发词指导下的越南语新闻事件检测取得了较好的效果。

关键词：越南语新闻事件检测触发词对抗学习

在线全文

学校读者我要写书评

暂无评论

基于对比学习增强句子语义的事件检测方法

高技术通讯 2023年第7期33卷 669-682页

作者：梁冬张程史骁谭文婷吕存驰赵晓芳中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中科苏州智能计算技术研究院苏州215028

事件检测旨在识别文本中提到的事件及其类型。基于触发词的事件检测方法需要额外的人工成本标注事件触发词。本文从无触发词的文本语义提取出发,提出了一种基于对比学习增强句子语义的事件检测方法。该方法首先在事件检测数据集上通过... 详细信息

事件检测旨在识别文本中提到的事件及其类型。基于触发词的事件检测方法需要额外的人工成本标注事件触发词。本文从无触发词的文本语义提取出发,提出了一种基于对比学习增强句子语义的事件检测方法。该方法首先在事件检测数据集上通过自监督学习对预训练的语言模型基于转换器的双向编码表示器(BERT)调优,提高语言模型的领域适应性。然后利用掩码(mask)操作和丢弃(dropout)操作构建自监督对比样例,增加监督对比样例,实现了自监督对比和监督对比2种句子语义增强的方法。此外在训练过程中自动调整对比损失和事件分类的交叉熵损失的权重,以降低人工调参的成本,同时提高模型收敛速度。在自动内容抽取(ACE)2005中英文语料上的实验结果表明,本文方法比先前无触发词事件检测方法取得更好的结果,与利用预训练BERT模型微调的事件检测方法相比也具有优势。

关键词：事件检测自监督对比学习监督对比学习语义增强自动调整权重