基于抽象关系场景图的图像情感识别

作     者：康博 钱艺 文益民 KANG Bo;QIAN Yi;WEN Yimin

作者机构：桂林电子科技大学广西图像图形与智能处理重点实验室广西桂林541004 

出 版 物：《智能系统学报》 (CAAI Transactions on Intelligent Systems)

年 卷 期：2024年第19卷第2期

页      面：335-343页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62366011) 广西重点研发计划项目(桂科AB21220023) 广西图像图形与智能处理重点实验室项目(GIIP 2306) 

主　　题：图像情感识别 抽象关系 场景图 图卷积网络 注意力机制 卷积神经网络 视觉情感分析 深度学习 

摘      要：图像情感识别是通过分析视觉刺激来预测人类情感的抽象过程。现有方法大多缺乏对对象间关系以及对象与场景间相互作用的关注,并且对象间复杂多样的关系难以得到充分利用,进而导致难以正确对图像情感进行预测。为解决上述问题,提出一种基于抽象关系场景图的图像情感识别方法。首先,构建对象和属性检测器来提取图像中对象及其属性的特征。其次,使用对象特征推理对象间的亲密度和抽象关系特征,进而构建抽象关系场景图。再次,提出抽象关系图卷积网络来推理抽象关系场景图。最后,设计渐进式注意力机制对多个对象特征进行融合,以得到图像的整体对象特征。在FI、EmotionRoI和Twitter I公开数据集上的试验结果表明,该方法的分类准确率优于现有方法。