基于多模态情绪识别的主动服务推荐方法研究

作     者：黄光玉 

作者单位：烟台大学 

学位级别：硕士

导师姓名：刘志中

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多模态情绪识别 图卷积神经网络 服务推荐 GRU BERT 

摘      要：近年来,随着社会经济的快速发展以及新冠疫情产生的重大负面影响,导致精神疾病患者的数量逐年增高。另一方面,随着全球人口老龄化的加剧,许多老年人由于家庭和环境因素处于独居状态,情感沟通需求得不到满足,长期以来将引发严重的心理疾病。事实上,人们的心理变化通常反映为情绪变化,通过调整情绪可以缓解人们的心理压力。研究结果表明,合适的服务(例如:音乐或心理咨询)可以有效地调整用户情绪,从而避免极端事件的发生(例如:离家出走或自杀)。因此,如何主动地感知用户情绪并为其推荐合适的服务成为一个亟需解决的挑战性问题。 近年来,国内外学者针对情绪感知的音乐推荐、旅游推荐开展了初步研究,并取得了一定的研究成果,但仍然存在一些不足之处:一方面,已有的研究工作在情绪识别过程中,主要基于用户的单模态数据识别用户情绪,大多数忽略了情绪特征信息更加丰富的多模态数据,从而影响了用户情绪识别的准确性;另一方面,已有的研究工作在情绪感知的服务推荐过程中,主要基于传统的机器学习方法进行推荐,未能有效地学习用户、情绪和服务之间的深层交互信息,严重影响了服务推荐的效果。因此,如何准确地感知用户的情绪并为其推荐合适的服务成为一个亟需解决的问题。针对上述问题,本文开展了以下研究工作: (1)为了准确地感知用户的情绪,本文提出了一种基于GRU与BERT的多模态情绪识别模型。该模型首先使用BERT预训练模型提取文本模态特征,并使用单模态编码器提取音频、图像模态特征;然后,使用多模态解码器分别将音频、图像模态特征翻译为双模态融合特征;其次,将文本模态特征输入池化层,去除冗余信息;之后,将两组双模态融合特征和文本模态特征进行拼接融合,获取多模态融合特征;最后,基于用户当前的多模态融合特征以及上下文的多模态融合特征进行情绪分类,并在决策层对分类结果进行加权融合,从而得到用户的情绪类别。实验结果表明,本文提出的模型能够充分捕获音频和图像模态之间的交互信息和互补信息,并通过与基线模型的性能对比得出,该模型在评价指标Acc2和Acc7上分别提升了4.22%以及4.64%。 (2)为了实现情绪感知的主动服务推荐,本文提出了一种基于三部图的主动服务推荐方法。该方法首先基于用户的情绪和用户的历史服务使用记录,构建三部图;然后,采用改进的注意力机制,捕获用户对情景信息中的情绪信息和场景信息的注意力权重;其次,采用图卷积神经网络对三部图进行学习,捕获用户、情景和服务之间的交互性和关联性信息,从而快速准确地选择最优的服务;最后,将最优服务主动推荐给用户,实现情绪感知的主动服务推荐。实验结果表明,本文提出的方法能够基于感知到的用户情绪为其推荐最佳的服务,从而调节用户的情绪以及保护用户的心理健康。通过与基线模型的性能对比得出,该模型在评价指标HR@50和NDCG@50上分别提升了35.06%和18.92%。