基于双流残差融合的多模态讽刺解释研究

作     者：吴运兵 曾炜森 高航 阴爱英 廖祥文 

作者机构：数字福建金融大数据研究所 福州大学计算机与大数据学院 福州大学至诚学院计算机工程系 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年

学科分类：08[工学] 081203[工学-计算机应用技术] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61976054)资助 福建省自然科学基金面上项目(2022J01116)资助 

主　　题：自然语言处理 深度学习 讽刺解释 多模态 注意力机制 

摘      要：针对现有多模态讽刺解释模型在融合过程中仅关注图像中的细粒度特征信息，使得模型存在解释效果不佳、多模态特征难以融合等问题，本文设计了一种基于双流残差注意力的多模态融合机制。首先，本文采用了BART和VGG19模型分别提取文本和图像两种模态特征。其次，模型经过两路多头注意力引导，分别关注图像和文本的细粒度信息，考虑到单纯的多头自注意力不能很好学习图文间的关联信息，采用二次注意力模块（AOA）合理分配特征权重。最后，本文将多模态特征拼接融合后输入BART解码器中进行讽刺解释。模型在公开的数据集MORE上的实验结果表明，相较于ExMore模型，本文模型在METEOR和ROUGE-L评价指标上分别提升了4.35%、3.39%。实验结果表明本文模型能更好融合模态特征，从而显著地提升模型解释的效果。