图像整体与局部区域嵌入的视觉情感分析

作     者：蔡国永 贺歆灏 储阳阳 CAI Guoyong;HE Xinhao;CHU Yangyang

作者机构：广西可信软件重点实验室(桂林电子科技大学) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2019年第39卷第8期

页      面：2181-2185页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61763007) 广西自然科学基金重点项目(2017JJD160017)~~ 

主　　题：社交媒体 情感分析 图像局部对象检测 深度学习 神经网络 

摘      要：目前多数图像视觉情感分析方法主要从图像整体构建视觉情感特征表示,然而图像中包含对象的局部区域往往更能突显情感色彩。针对视觉图像情感分析中忽略局部区域情感表示的问题,提出一种嵌入图像整体特征与局部对象特征的视觉情感分析方法。该方法结合整体图像和局部区域以挖掘图像中的情感表示,首先利用对象探测模型定位图像中包含对象的局部区域,然后通过深度神经网络抽取局部区域的情感特征,最后用图像整体抽取的深层特征和局部区域特征来共同训练图像情感分类器并预测图像的情感极性。实验结果表明,所提方法在真实数据集TwitterⅠ和TwitterⅡ上的情感分类准确率分别达到了75.81%和78.90%,高于仅从图像整体特征和仅从局部区域特征分析情感的方法。