基于TomBERT的local-global社交平台多模态情感分类

作     者：戴可玉 严华 Dai Keyu;Yan Hua

作者机构：四川大学电子信息学院成都610065 

出 版 物：《现代计算机》 (Modern Computer)

年 卷 期：2024年第30卷第11期

页      面：50-54页

学科分类：081203[工学-计算机应用技术] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：情感分类 多模态 主体信息 场景信息 BERT 

摘      要：随着自媒体时代的兴起,社交媒体上用户表达的情感和态度成为反映社会公众情感的重要信息源。然而,现有多模态情感分类方法在处理文字和图片融合时往往忽略了目标外的场景因素,影响了情感分类的准确性。针对此问题,提出基于TomBERT的local-global社交平台多模态情感分类模型,该模型以TomBERT模型为基础架构,将输入信息分为主体(local)和场景(global)两部分,分别进行图文匹配,通过多模态编码器获得最终的多模态隐藏表示后进行分类,充分考虑了主体信息与场景信息的关联,使用场景因素对主体进行特征增强,辅助情感分类。实验证明,基于TomBERT的local-global社交平台多模态情感分类模型较于传统方法,在捕捉模态间关系的同时,更全面地考虑了主体与场景的影响,提高了情感分类的准确性。