基于图神经网络的事件抽取和事件推理关键技术研究

作     者：巩京昊 

作者单位：齐鲁工业大学 

学位级别：硕士

导师姓名：刘嵩

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：篇章级事件抽取 脚本事件推理 图神经网络 超图卷积网络 Transformer 

摘      要：随着互联网的飞速发展,互联网领域涌现了大量有价值的信息。因此如何从海量数据中提取有价值的信息并实现应用变得尤为重要。随着知识图谱技术的日益成熟,研究者不在局限于实体和关系层面,并逐渐开始关注以事件信息为核心的事件图谱。相比于知识图谱,事件图谱更能反映事件发生的时序信息,更贴合人们对事件的理解。在事件图谱的研究和应用领域,事件抽取作为事件图谱自动化构建过程的核心环节得到研究者的广泛关注。而事件推理作为事件图谱的主要应用,可以借助事件图谱中极具价值的事件属性和时序等信息进行推理和问答等任务。目前,在事件抽取领域,单一的句子级事件抽取算法已取得较高的准确率。但由于文本中存在大量的嵌套事件,因此很多事件需要进行跨句提取,句子级事件抽取算法已经不能满足需求,因此篇章级事件抽取算法应运而生。然而文本中同一单词在不同句子中往往蕴含不同的语义信息,传统的图神经网络无法有效表示单个句子对应多个单词的一对多的关联关系,因此目前的篇章级事件抽取算法不能充分学习跨句单词间的信息传递。此外,图神经网络还会随着层数的增加而引发节点特征过平滑等问题。因此,针对现有的篇章级事件抽取模型存在的问题,本文提出了一种基于超图卷积网络的篇章级事件抽取算法。我们首次在篇章级事件抽取任务中引入并改进了超图卷积网络(HGCN),使之能够有效地学习文本中句子和单词间的一对多的关联特征及信息传递,同时通过控制网络层数来缓解过平滑问题。此外,我们还引入了双仿射图解析器(Bi Affine Graph Parser)并加以改进,用于学习更有效地依赖语法信息。最后,我们在生物医学领域数据集MLEE和GE上进行实验,实验结果表明该算法在整体抽取效果上要优于其他基准模型。在事件推理领域,图神经网络大多依靠其强大的图结构数据学习能力,被用于提取事件链的时间序列特征。然而,传统的图神经网络并无法有效学习整个事件链中参数之间的信息传递,导致无法学习到全面的事件上下文语境特征。另外,现有的事件推理模型中注意力机制只用于关注历史事件对候选事件的关联关系,忽略了候选事件对历史事件之间的信息的传递。因此,针对现有的脚本事件推理模型存在的问题,本文提出了一种基于多粒度特征增强表示学习的脚本事件推理算法。为了能够同时学习事件的多粒度特征,我们引入长短期记忆网络(LSTM)来学习事件的参数序列特征、引入主邻域聚合网络(PNA)提取事件的序列特征以及引入关联连接网络(ALN)提取上下文语义特征。为了能够有效利用上述三种特征,我们以Transformer为框架设计了一种特征融合方法。此前,我们采用了阈值计算的方法来选取优秀特征进行特征融合,以减少噪声特征。此外,我们首次在事件推理任务中引入了交叉注意力机制(Cross-Attention)来增强学习候选事件对历史事件的信息传递。最后,我们在NYT数据集上进行实验,实验结果表明我们的模型在脚本事件推理任务中要优于其他基准模型。本文针对篇章级事件抽取任务和脚本事件推理任务分别进行算法创新,并提出相应的算法模型。实验表明上述两种算法创新具有一定的理论价值和应用价值。