融合预训练模型与注意力的事件抽取方法

作     者：肖立中 殷晨旭 

作者机构：上海应用技术大学计算机科学与信息工程学院 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：上海自然科学基金(20ZR1455600) 

主　　题：事件抽取 角色重叠 特征融合 注意力机制 

摘      要：事件抽取旨在从大量无结构的文本中抽取出结构化的事件信息，然而现有的研究工作存在难以抽取重叠角色，子任务间缺乏交互以及语义特征表达能力不足的问题，该文针对上述问题提出了一种中文事件抽取模型PACJEE。该模型采用预训练语言模型RoBERTa来提取文本特征，随后对文本进行事件类型分类，接着在触发词识别阶段，将提取到的事件类型先验特征与文本特征进行融合，并且使用自注意力机制获取内部特征相关性，在论元角色分类阶段引入卷积神经网络与注意力机制来加强触发词特征的表达能力，最后通过多层指针标注来进行重叠角色的识别。该方法在中文数据集ACE2005和DuEE上进行了实验分析，结果显示，相较于基准方法，在触发词分类上的F1值分别提升1.6%和0.5%，在论元角色分类上的F1值分别提升3.3%和2.5%，说明该模型能显著提升事件抽取效果，并且在一定程度上提升了对角色重叠事件的识别准确率。