MSRD:多模态网络谣言检测方法

作     者：刘金硕 冯阔 Jeff Z.Pan 邓娟 王丽娜 Liu Jinshuo;Feng Kuo;Jeff Z.Pan;Deng Juan;and Wang Lina

作者机构：空天信息安全与可信计算教育部重点实验室武汉大学国家网络安全学院武汉430072 阿伯丁大学苏格兰阿伯丁AB243FX 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2020年第57卷第11期

页      面：2328-2336页

核心收录：

学科分类：0810[工学-信息与通信工程] 0808[工学-电气工程] 0839[工学-网络空间安全] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(U1936107 6187613 61672393) 

主　　题：多模态 谣言检测 图像内嵌文本 自然语言处理 深度神经网络 

摘      要：图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性,对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容,因此,提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征,使用DenseNet提取图像内嵌文本内容,使用LSTM网络提取文本内容特征,与图像特征串接后,通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.