基于过滤注意力机制的生成式自动社交媒体文本摘要模型

作     者：许天翼 颜兆萍 朱恩耀 石进 

作者机构：南京大学信息管理系 

出 版 物：《现代情报》 (Journal of Modern Information)

年 卷 期：2024年

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金重大项目“南海疆文献资料整理中的知识发现与维权证据链构建研究”(项目编号:19ZDA347) 江苏省科技计划项目“人工智能精准匹配‘通督调神’不同针刺组方治疗失眠症的临床研究”(项目编号:BE2021751) 

主　　题：生成式摘要模型 社交媒体 过滤注意力机制 

摘      要：[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息，本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先，采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次，设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息，基于字词层面和语句层面两种过滤注意力机制，旨在从不同角度对于嵌入向量进行过滤；最后，采用Transformer的解码器部分进行解码工作，并根据过滤注意力机制的不同设计相应的解码策略。本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。[结果/结论]实验结果表明，本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时，发现基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。