融合图文多粒度情感特征的多模态谣言检测方法

作     者：刘先博 向澳 杜彦辉 

作者机构：中国人民公安大学信息网络安全学院 武汉大学计算机学院 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2024年

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：中国人民公安大学网络空间安全执法技术双一流创新研究专项(2023SYL07) 

主　　题：谣言检测 情感分析 多模态融合 注意力机制 群体性事件 

摘      要：涉及公共安全、灾害事故等群体性事件谣言往往在文字或图像中含有丰富的情感特征信息，极易调动网民情绪反应，诱导其点赞、评论和转发。然而，现有的多模态谣言检测方法对于多模态数据中蕴含的情感特征缺乏有效的提取方法，并且在特征融合过程中没有考虑模态间的关系，存在一定冗余特征的问题。为探究跨模态情感特征在谣言检测中的作用，提出一种融合图文多粒度情感特征的多模态谣言检测方法，该方法在不依赖评论、传播模式等社会信息的前提下，将图文多粒度情感特征融入到多模态谣言检测方法中，利用基于交互注意力机制的跨模态多粒度情感特征融合方法充分融合多媒体信息的深层特征，并在Weibo和Twitter两个公开数据集进行对比实验和消融实验。结果表明，该方法与现有谣言检测方法相比，在两个数据集中的谣言检测准确率分别提升到91.2%和83.9%，在F1值等多个指标上展现了优异性能，有效提升了谣言检测性能和模型的可解释性，一定程度上能够辅助公安机关开展群体性事件的谣言处置工作，为基层警务实战提供技术支持。