基于注意力融合网络的方面级多模态情感分类
Aspect-level Multimodal Sentiment Classification Based on Attention Fusion Network作者机构：华南师范大学软件学院佛山528225
出 版 物：《计算机系统应用》 (Computer Systems & Applications)
年 卷 期：2024年第33卷第2期
页 面：94-104页
学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）]
主 题：多模态 情感分类 空间变换网络 交互网络 相似信息 注意力融合网络
摘 要：方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.
维普期刊数据库
同方期刊数据库