基于SeqRelSum的样本间关系深度挖掘的文本摘要生成

作     者：费志高 成新民 

作者机构：湖州师范学院信息工程学院 

出 版 物：《数字技术与应用》 (Digital Technology & Application)

年 卷 期：2024年第2期

页      面：220-222页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

摘      要：在文本摘要生成任务中，传统的自注意力机制在编码过程中往往会过度关注当前位置的信息，导致忽视了序列内不同范围的依赖关系。此外，在深度神经网络中，批次维度上的学习也面临着困难。本文提出一种Seq Rel Sum学习模型，采用自注意力机制的多头注意力模块，对两个文本序列之间进行词层面的自注意力计算，并引入多个子空间表示和独立学习的线性投影，捕获不同的语义信息，将其组合起来得到序列内不同范围的依赖关系。同时引入双流样本间注意力机制，结合Transformer模块对数据的样本关系进行训练，使用共享分类器实现批量不变学习，最终在批次维度上获取样本关系。实验结果表明，该模型在文本摘要任务上的表现优于基线模型和其他先进方法。