基于支撑信息的机器阅读理解研究

作     者：邵迪 

作者单位：燕山大学 

学位级别：硕士

导师姓名：冯建周

授予年度：2023年

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多选机器阅读理解 信息差机制 文档表征 句法分析 支撑信息 

摘      要：随着大规模预训练模型的出现,自然语言处理取得了巨大进步,用户要求模型提供可解释性的需求也日益增加。多选机器阅读理解是自然语言处理领域的重要任务之一,它要求机器根据文章及问题从候选项中选择答案。支撑信息作为判断多选阅读理解答案的证据,需要机器在推理出答案时将支撑信息提供给用户以增强模型的可解释性。本文针对支撑信息展开研究,根据支撑信息在文章中的数目将其分为单支撑信息和多支撑信息。本文的主要研究内容如下。首先,针对当前寻找单支撑信息的模型仅考虑词匹配信息,缺乏深层语义的问题,本文提出了一种句法知识引导的单支撑信息抽取模型。该模型设计了句法知识引导的句子嵌入网络,可得到含有句法知识与词义的双重知识句嵌入。其次,为统一答案选择任务与支撑信息抽取任务,本模型设计了带有权重的层次融合网络。当使用融合权重后的文档表征向量回答问题的性能提升时,依靠权重抽取支撑信息的性能也不断提高。最后,在RACE和C3数据集上进行对比分析,验证了该方法的有效性和优越性。其次,当前基于多支撑信息的模型通常使用半监督或远程监督的方法,这会引入噪声数据,导致特征不准确。此外,仅使用支撑信息与问题-选项对做对比时,通常会忽略上下文,导致信息丢失。针对以上问题,本文提出一种多支撑信息偏好的文档表征调整方法。首先,设计了自适应的信息差机制自动捕获支撑信息,避免了昂贵的人工标注。其次,构建了信息差缩小机制,使得文档表征与支撑句表征更接近,从而使文档表征更偏好于支撑句表征。当使用文档表征选择答案时,可同时兼顾支撑信息与上下文信息,信息丢失的问题得到缓解。在多选机器阅读理解任务RACE和DREAM上对提出的方法进行评估,验证了本文所提方法的有效性和优越性。