基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型

作     者：梅侠峰 吴晓鸰 吴杰文 凌捷 Hoon Heo MEI Xiafeng;WU Xiaoling;WU Jiewen;LING Jie;Hoon Heo

作者机构：广东工业大学计算机学院广东广州510006 华为技术有限公司北京100085 韩国三星电机韩国水原 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2022年第39卷第2期

页      面：34-42页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：广东省重点领域研发计划项目(2019B010139002) 广州市重点领域研发计划项目(202007010004) 广东省海外名师项目(2020A1414010365) 

主　　题：谣言检测 RoBERTa BiSRU 软注意力机制 

摘      要：针对现有微博谣言检测算法在实用场景中存在滞后性,以及传统深度学习模型特征提取能力不足等问题,提出了基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型,仅使用微博原始文本作为模型输入,不包含任何转发和评论信息或者其他相关特征信息.采用RoBERTa预训练模型学习当前词在特定上下文语境中的动态含义,解决静态词向量无法表示多义词的问题,提升词的语义表征能力;通过双向内置注意力简单循环单元(Simple Recurrent Unit with Built-in Self-Attenttion)进行深层语义特征抽取,自注意力机制可以捕获句子内部词与词之间的依赖关系,得到更为全面的高维特征;引入软注意力机制计算不同词对分类结果的重要程度,赋予模型聚焦关键特征的能力,解决输出特征对分类结果影响力一致的问题;得到的软注意力特征经Softmax层计算得到分类概率,取概率最大值对应标签为分类结果.在公开的中文微博谣言数据集进行实验,实验结果表明,本文所提出的基于RoBERTa-BiSRU++-AT的模型F1分数达到了98.16%,高于实验对比的其他微博谣言检测算法,证明该模型对微博文本谣言具有更好的早期识别能力.