基于多视角学习的时序多模态情感分类研究

作     者：陶全桧 安俊秀 戴宇睿 陈宏松 黄萍 Tao Quanhui;An Junxiu;Dai Yurui;Chen Hongsong;Huang Ping

作者机构：成都信息工程大学软件工程学院成都610225 成都信息工程大学管理学院成都610225 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2023年第40卷第1期

页      面：102-106页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(71673032) 四川省社会科学高水平团队基金资助项目(2015Z177) 

主　　题：情感分类 多模态 多视角 时序特征 对比学习 

摘      要：针对多模态融合效果不佳,不能充分挖掘特定时间段,多视角关键情感信息的问题,提出了一种基于多视角的时序多模态情感分类模型,用于提取特定时间段,多视角下的关键情感信息。首先,对文本标题及文本内容两种视角下的数据进行低维空间词嵌入和序列表达,提取不同视角的多模态时序特征,对图片截取,水平镜像两种视角下的数据进行特征提取;其次,采用循环神经网络构建多模态数据的时序序列交互特征,增大互信息;最后,基于对比学习进行联合训练,完成情感分类。该模型在两个多模态情感分类基准数据集Yelp和Mutli-Zol上评估,准确度分别为73.92%、69.15%。综合实验表明,多视角的特定时间段多模态语句序列可提升模型性能。