基于深度学习的情感对话生成研究

作     者：卢幸 

作者单位：长春工业大学 

学位级别：硕士

导师姓名：郑虹;刘乐

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：情感对话生成 预训练模型 RoBERTa 深度学习 情感识别 

摘      要：对话生成一直是人工智能领域中一个重要的研究任务,因为它具有广泛的应用和高价值。为了提高对话回复的自然性和流畅性,在对话中融入情感可以发挥重要作用。目前已经有多种不同的情感注入方式,如在模型的输入或编码部分中引入情感信息进行注入,或者使用外部情感词典来鼓励解码过程中更关注情感信息等。然而,现有研究更多地集中于根据指定的情感类别来生成回复,导致在实际应用中需要持续投入人力来判断和指定情感类别。此外,现有的模型大多数不能很好地在对话过程中调整情感强度,导致情感和内容之间的关注度不平衡,容易出现前后情感转换不自然或回复质量不高等问题。为了解决上述问题,本文运用深度学习相关技术开展了多项研究工作,具体如下:(1)针对对话模型缺乏情感感知和预测能力问题,提出一种基于Ro BERTa的多轮对话情感识别模型。首先,通过使用拥有更为强大的文本特征提取能力的Ro BERTa预训练模型作为编码器,得到文本的信息编码向量。其次,由于在编码过程中,每轮对话是单独进行输入处理,无法捕捉不同轮次对话之间的时间序列关系,因此再将每轮对话字符所对应的编码向量按照时间顺序输入到GRU模型结构中,最后通过融合模块和分类模块得到最终的情感概率标签向量。本模型共在四个数据集上进行了实验,分别是MELD、Daily Dialog、IEMOCAP和Emory NLP数据集。通过对比实验分析,本文模型取得了更好效果,表明该模型在情感识别任务上拥有更为优秀的能力。(2)针对对话生成过程中情感和内容关注度不平衡问题,本文提出了一种基于动态情感变化的对话生成模型。其中的情感向量通过上述情感识别模型得到,但是,上述模型使用argmax函数得到一种情感类别作为情感嵌入,而一句话中包含的情感往往是复杂多样的,可能包含多种不同的情感。因此,本文提出了情感嵌入模块,根据得到的情感概率矩阵乘以包含不同情感含义的矩阵,再得到情感向量。同时,使用语句级别的注意力机制编码文本特征向量和动态情感控制解码器控制不同时间步的情感强度,对情感信息和内容信息之间的平衡进行控制。模型采用端到端的方式进行训练,并设计了情感损失函数和内容损失函数,用于引导生成包含正确情感的回复。实验结果表明,在MELD和Daily Dialog两个数据集上,本文模型无论是自动评估还是人工评估都优于其他对比模型。这验证了本文模型在情感对话生成过程中能够更好地平衡情感和内容,生成的回复具有更好的流畅性、相关性和多样性。