融合序列语法知识的卷积-自注意力生成式摘要方法

作     者：罗森林 王睿怡 吴倩 潘丽敏 吴舟婷 LUO Senlin;WANG Ruiyi;WU Qian;PAN Limin;WU Zhouting

作者机构：北京理工大学信息与电子学院北京100081 国家计算机网络应急技术处理协调中心北京100094 

出 版 物：《北京理工大学学报》 (Transactions of Beijing Institute of Technology)

年 卷 期：2021年第41卷第1期

页      面：93-101页

核心收录：

学科分类：0810[工学-信息与通信工程] 081203[工学-计算机应用技术] 08[工学] 0805[工学-材料科学与工程（可授工学、理学学位）] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家“十二五”科技支撑计划项目(2012BAI10B01) 北京理工大学基础研究基金项目(20160542013) 国家“二四二”信息安全计划项目(2017A149) 

主　　题：生成式摘要 编码-解码模型 语法分析 卷积-自注意力模型 注意力机制 

摘      要：针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.