义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Transfo.mer的生成式标题模型Tran-A-SDLM(Transfo.mer Adaptio. based Sememe-Driven Language Mo.el with po.itio.al embedding and kno.ledge reaso.ing)。该模型充分结合自适应位置编码和知识推理机制的优势。首先,引入Transfo.mer模型以增强模型对文本序列的编码能力;其次,利用自适应位置编码机制增强模型的位置感知能力,从而增强对上下文义原知识的学习;此外,引入知识推理模块,用于表示义原知识,并指导模型生成准确标题;最后,为验证Tran-A-SDLM的优越性,在大规模中文短文本摘要(LCSTS)数据集上进行实验。实验结果表明,与RNN-co.text-SDLM相比,Tran-A-SDLM在Ro.GE-1、Ro.GE-2和Ro.GE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。
维普期刊数据库
同方期刊数据库
暂无评论