基于深度学习的图像情感分类

作     者：刘储青 

作者单位：合肥工业大学 

学位级别：硕士

导师姓名：王晓华

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：图像情感分类 深度学习 对抗学习 特征融合 多任务学习 

摘      要：随着数字科技与网络多媒体的快速发展,图像成为用户进行观点发表与情感表达的新兴媒介源源不断地涌向社交网络。理解社交网络中图像所承载的更高层次的情感内容,实现图像情感语义分析及情感分类,已经成为图像标注、基于情感语义的图像检索、网络舆情监测等领域的热点研究内容。基于图像的情感分类就是运用特定算法解析图像中蕴含的情感元素。本文基于深度学习来研究图像情感分类问题,主要工作包含以下两个方面:(1)鉴于从情感区域提取特征可有效避免非情感区域的噪声干扰,且不同情感区域所蕴含的情感信息不同,因此,基于不同局部情感区域提取视觉特征对情感分类至关重要。本文提出一种基于对抗学习的图像情感分类模型,做到尽可能多地关注到图像不同局部情感区域,从而提取出更加丰富的情感语义信息。该模型首先在全卷积网络中应用跨通道池化策略获取类对齐且具有判别性的情感特征图;然后利用对抗擦除技术引导网络关注其他局部区域,并学习互补的多样性情感特征;最后通过自适应融合网络推断最优融合权值来整合不同局部区域的情感特征,从而获得更加鲁棒的分类特征。本文分别在FI、Emotion ROI、Instagram和Twitter I数据集上开展了一系列与其他模型的对比实验,结果表明该模型取得了更优的分类准确率。(2)在上述模型的基础上提出通道优化模块来优化全局特征图,使得全局特征的不同通道可以捕捉图像的不同判别区域信息。通道优化模块在全局特征的基础上加强了局部情感判别信息,起到融合局部判别特征和全局特征的作用。在不借助任何外部操作的前提下,通道优化模块利用通道来捕捉情感类间的细微差异和区别性信息,操作简单。此外,考虑到情感硬标签存在主观性,本文设计了一个包含分类损失和情感分布损失的多任务学习框架。通过情感概率分布来强化图像属于不同情感类别的概率,充分考虑了低概率标签且引入了类间关系,可以有效抑制图像情感硬标签的主观性。在多分类数据集FI和Emotion6上对该模型进行了实验验证,其结果展示了该模型良好的分类性能。