检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向端到端的情感对话生成研究综述

计算机科学与探索 2022年第2期16卷 280-295页

作者：王春喻马志强杜宝祥贾文超王洪彬宝财吉拉呼内蒙古工业大学数据科学与应用学院呼和浩特010080 内蒙古工业大学内蒙古自治区基于大数据的软件服务工程技术研究中心呼和浩特010080

人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注。受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注。其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,... 详细信息

人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注。受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注。其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,生成有意义且多样性的回复,被广泛地应用于情感对话生成研究中。面向基于端到端模型的情感对话生成研究展开综述。首先,针对现有的研究成果,梳理并介绍了当前情感对话生成研究面向的任务和主要解决的问题,并且做出了详细的定义,整理并介绍了情感对话生成模型建模所需的数据集。其次,对端到端的神经网络模型的原理进行了简单的概述,并且分析和总结了情感对话生成研究在每个基础模型中的改进、研究现状、模型涉及的评价指标以及模型的性能。再次,对现阶段涉及到的模型评价方式按照自动评价以及人工评价方式进行了总结。最后,对未来情感对话生成研究的发展方向进行了展望。

关键词：人机对话深度学习端到端情感对话生成

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于联合解码的话题扩展情感对话生成研究

基于联合解码的话题扩展情感对话生成研究

作者：段梦诗河南工业大学

学位级别：硕士

人们能够利用自然语言实现日常情感沟通,并以此达到情感上的安慰效果,而机器如果希望和人类高效的交流情感,就必须兼具一定的情感计算能力,在对话过程中识别说话者的情感,以便生成情感内容更丰富的回答。尽管研究人员已经提出了多种对... 详细信息

人们能够利用自然语言实现日常情感沟通,并以此达到情感上的安慰效果,而机器如果希望和人类高效的交流情感,就必须兼具一定的情感计算能力,在对话过程中识别说话者的情感,以便生成情感内容更丰富的回答。尽管研究人员已经提出了多种对话生成的方法,但过多关注生成句子的准确性,忽略了情感和主题的融合。因此,本文基于话题扩展情感对话生成技术的研究,不仅可以生成包含特定情感的内容,还可以确保生成的内容与对话主题相同。本文首先对实验数据做了预处理,其次,采用多模态方法将情感对话文本与用户属性特征相结合,提高了识别用户情感的准确率,最后,使用序列到序列模型生成带有情感与主题的句子中,提高了回复的多样性和相关性。本研究的主要工作和贡献如下:(1)数据集的质量对实验模型的效果起着关键作用,构建模型之前需要对获取的数据进行预处理,进而提高数据质量。首先对数据集进行预处理及可视化展示,其次使用EDA技术进行了数据增强,最后通过对比实验建立了情感对话识别实验中的预训练模型。本研究通过数据预处理和数据增强技术,将处理后的对话数据集和选择的预训练模型提供给后续实验。(2)针对情感对话识别模式单一且准确率低的问题,提出多模态的对话文本情感识别模型(U-Bbert),利用非结构化对话信息和结构化用户属性,提高对话文本情感识别上下文语境理解能力,准确推出情感类别。Bert-Bi LSTM结构通过提取情感对话文本的上下文特征,结合用户属性构造实验混合特征集,并采用随机森林算法对混合数据分类。实验结果表明,U-Bbert模型较其他基准模型情感提取的准确率显著提高,证明该模型可用于多模态对话文本情感识别,具有较好的效果。(3)为了使机器能够生成更丰富的情感内容和更相关的话题,提出基于联合解码的话题扩展情感对话生成模型(TECM-JD)。Twitter LDA算法提取主题词作为附加输入,解码器中的情感和内容模块,使对话生成的回答中包含和输入保持一致的主题与内容。实验结果表明,TECM-JD模型可以生成更多与主题相关且更丰富的情感内容,结果具有良好的性能,优于传统对话模型。

关键词：深度学习对话文本情感识别情感对话生成联合注意力机制

基于多源信息与异构图神经网络的情感对话生成系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多源信息与异构图神经网络的情感对话生成系统

作者：张钊宁华东师范大学

学位级别：硕士

对话系统是人机交互领域的研究热点,具有较高的使用价值和广泛的应用发展前景,融入情感的对话能极大地提高人机交互的自然性和流畅性。情感对话生成任务是对话系统中一项非常具有挑战性的工作:纯文本信息难以表征准确的情绪状态和复杂... 详细信息

对话系统是人机交互领域的研究热点,具有较高的使用价值和广泛的应用发展前景,融入情感的对话能极大地提高人机交互的自然性和流畅性。情感对话生成任务是对话系统中一项非常具有挑战性的工作:纯文本信息难以表征准确的情绪状态和复杂的语境;对于多人对话场景,使用传统Seq2Seq结构很难准确表征和建模;目前在情感对话生成领域的研究主要集中在指定情绪的回复生成,与真实场景不符,对上下文和语境等信息利用较少;现有的大多数模型不能充分理解个性和感知上下文信息,因此可能存在内容前后不一致、情绪转变僵硬、说话人个性缺失、生成的回复质量不高等问题。针对以上问题,本文开展了多项研究工作:1.基于异构图引入多源信息并用于非指定回复情感的多方情感对话生成任务。使用图结构更容易表示多方对话信息流,且有助于模型理解上下文和语境信息。目前的在情感对话生成任务领域,对异构图的研究与应用较少,本文将包括面部表情和声音信息等多源信息引入异构图并对多方对话场景进行建模,使得模型通过理解上下文和语境等信息,能处理多人对话场景且无需指定回复情感类型,最终实现准确预测不同说话人的情绪和生成高质量的情感响应。2.设计并提出了一种新的Graph2Sequence模型。本文以对话历史、声音、表情和个性等多源信息为节点,使用异构图神经网络进行编码,同时引入HGT并提出了相对关系编码,来帮助模型对不同类型的节点和边动态建模并降低模型的参数量,进一步帮助模型充分理解上下文与说话人个性等信息并准确的预测说话人的情绪。另外,本文引入注意力机制提取异构图上下文信息,并提出了一种受个性影响的情绪表达建模方法,结合改进后的GRU动态生成不仅与上下文更加相关且更加符合说话人个性的情感对话。本文以MELD和Daily Dialog为数据集,结合多种评价指标,进行了充分的对比实验,实验结果表明本模型能准确的预测说话人情绪,且生成的回复质量在流畅性、相关性、多样性和情感相关与准确性等多方面均优于传统模型。3.设计并实现了一套多模态情感对话系统。现有的大多数对话系统都只支持文本形式的对话,而且既不支持多人对话场景也少有支持情感对话。针对上述问题,本系统结合了声纹识别、人脸特征提取、语音识别等技术,支持以对话视频为输入,自动解析识别用户身份、提取并编码表情与语音信息特征,结合本文提出的模型,最终预测合适的情绪并回复恰当的情感响应。通过实验和测试,该系统能达到预期效果且具有良好的可扩展性。

关键词：情感对话生成异构图神经网络 Graph2Sequence 多模态对话系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的情感对话生成研究

基于深度学习的情感对话生成研究

作者：卢幸长春工业大学

学位级别：硕士

对话生成一直是人工智能领域中一个重要的研究任务,因为它具有广泛的应用和高价值。为了提高对话回复的自然性和流畅性,在对话中融入情感可以发挥重要作用。目前已经有多种不同的情感注入方式,如在模型的输入或编码部分中引入情感信息... 详细信息

对话生成一直是人工智能领域中一个重要的研究任务,因为它具有广泛的应用和高价值。为了提高对话回复的自然性和流畅性,在对话中融入情感可以发挥重要作用。目前已经有多种不同的情感注入方式,如在模型的输入或编码部分中引入情感信息进行注入,或者使用外部情感词典来鼓励解码过程中更关注情感信息等。然而,现有研究更多地集中于根据指定的情感类别来生成回复,导致在实际应用中需要持续投入人力来判断和指定情感类别。此外,现有的模型大多数不能很好地在对话过程中调整情感强度,导致情感和内容之间的关注度不平衡,容易出现前后情感转换不自然或回复质量不高等问题。为了解决上述问题,本文运用深度学习相关技术开展了多项研究工作,具体如下:(1)针对对话模型缺乏情感感知和预测能力问题,提出一种基于Ro BERTa的多轮对话情感识别模型。首先,通过使用拥有更为强大的文本特征提取能力的Ro BERTa预训练模型作为编码器,得到文本的信息编码向量。其次,由于在编码过程中,每轮对话是单独进行输入处理,无法捕捉不同轮次对话之间的时间序列关系,因此再将每轮对话字符所对应的编码向量按照时间顺序输入到GRU模型结构中,最后通过融合模块和分类模块得到最终的情感概率标签向量。本模型共在四个数据集上进行了实验,分别是MELD、Daily Dialog、IEMOCAP和Emory NLP数据集。通过对比实验分析,本文模型取得了更好效果,表明该模型在情感识别任务上拥有更为优秀的能力。(2)针对对话生成过程中情感和内容关注度不平衡问题,本文提出了一种基于动态情感变化的对话生成模型。其中的情感向量通过上述情感识别模型得到,但是,上述模型使用argmax函数得到一种情感类别作为情感嵌入,而一句话中包含的情感往往是复杂多样的,可能包含多种不同的情感。因此,本文提出了情感嵌入模块,根据得到的情感概率矩阵乘以包含不同情感含义的矩阵,再得到情感向量。同时,使用语句级别的注意力机制编码文本特征向量和动态情感控制解码器控制不同时间步的情感强度,对情感信息和内容信息之间的平衡进行控制。模型采用端到端的方式进行训练,并设计了情感损失函数和内容损失函数,用于引导生成包含正确情感的回复。实验结果表明,在MELD和Daily Dialog两个数据集上,本文模型无论是自动评估还是人工评估都优于其他对比模型。这验证了本文模型在情感对话生成过程中能够更好地平衡情感和内容,生成的回复具有更好的流畅性、相关性和多样性。

关键词：情感对话生成预训练模型 RoBERTa 深度学习情感识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的情感对话生成与质量评估研究

基于深度学习的情感对话生成与质量评估研究

作者：陈茜华中师范大学

学位级别：硕士

随着深度学习技术的发展,人机对话技术取得了突破性进展,人们对人机对话系统也提出了更高的要求。人们不仅希望机器能够理解对话的内容,还希望它能像人类一样带有情感交流,能够根据不同的对话语境给出蕴含恰当情绪的回复。近年来,一些... 详细信息

随着深度学习技术的发展,人机对话技术取得了突破性进展,人们对人机对话系统也提出了更高的要求。人们不仅希望机器能够理解对话的内容,还希望它能像人类一样带有情感交流,能够根据不同的对话语境给出蕴含恰当情绪的回复。近年来,一些学者的研究不再局限于简单地将情感融入到生成过程中,他们开始关注对话中的情感转移关系,期望通过对话中的情感转移关系生成更符合当前语境的情感回复。目前一种主要的研究方法是将情感转移关系简单视为为对话情感的一致性,期望生成的回复包含与对话上文一致的情感,但这类方法忽视了真实对话中情感变化的多样性,简单的情感一致性很难适用于真实的对话场景。此外,情感对话生成研究中现有的评估方法大多只能从单一方面衡量对话质量,造成自动评估结果的可靠性较低,往往需要依赖人工的评估结果作为参考。针对上述问题,本文对基于深度学习的情感对话生成与质量评估开展了相关研究,主要工作如下:(1)提出了一种基于预训练模型GPT的情绪感知的对话生成模型(EADG)。该模型通过多层次的情绪感知器、融合内容与情感的语义增强器和语言解码生成器,学习情绪感知、融入情感来生成文本的综合能力。为了更好地建模对话中的情绪变化、指导生成蕴含恰当情绪的回复,本文设计了多层次的情绪感知器从句子级和单词级两方面学习对话中的情感转移关系,从而训练模型感知对话上文情绪、根据对话上文情绪预测回复应有情绪的能力。本文利用融合内容与情感的语义增强器加入噪音训练,提升模型理解对话语言逻辑的能力;利用语言解码生成器来训练模型解码生成自然语言的能力。实验结果表明,相比其他模型,本文提出的EADG模型能够生成内容更相关、逻辑性更强且情感更恰当的回复。(2)提出了一种基于深度学习的情感对话质量评估方法(QEM-ED)。该方法从句子流畅性、语义相关性和情感关联性多方面对情感对话生成模型的质量进行综合全面的评估。为了更好地从情感方面衡量回复的质量,本文基于数据集中对话的情感转移关系,提出了一种评估情感关联性的方法。该方法利用预训练模型BERT预测回复句子的情感概率分布,计算情感概率分布与情感转移关系的匹配度得到情感关联性得分。实验结果表明,相比单一的自动评估方法,本文提出的QEM-ED评估方法能够综合有效地衡量情感对话的质量,并且与人工评估方法具有很强的相关性。

关键词：情感对话生成情感转移关系情感对话质量评估深度学习预训练模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的主题扩展情感对话生成

计算机应用 2021年第4期41卷 1078-1083页

作者：杨丰瑞霍娜张许红韦巍重庆邮电大学通信与信息工程学院重庆400065 重庆邮电大学通信新技术应用研究中心重庆400065 重庆重邮信科(集团)股份有限公司重庆401121

越来越多的研究开始聚焦于情感对话生成,然而现有的研究往往只关注情感因素,却忽视了对话中主题的相关性和多样性以及与主题密切相关的情感倾向,这可能导致生成响应的质量下降。因此提出一种融合主题信息和情感因素的主题扩展情感对话... 详细信息

越来越多的研究开始聚焦于情感对话生成,然而现有的研究往往只关注情感因素,却忽视了对话中主题的相关性和多样性以及与主题密切相关的情感倾向,这可能导致生成响应的质量下降。因此提出一种融合主题信息和情感因素的主题扩展情感对话生成模型。该模型首先将对话上下文进行全局编码,引入主题模型以获得全局主题词,并使用外部情感词典获得全局情感词;其次在融合模块里利用语义相似度扩展主题词,并利用依存句法分析提取与主题相关的情感词;最后将上下文、主题词和情感词输入到一个基于注意力机制的解码器中,促使解码器生成主题相关的情感响应。实验结果表明,该模型能生成内容丰富且情感相关的回答。相较于主题增强情感对话生成模型(TE-ECG),所提出的模型在unigram多样性(distinct-1)和bigram多样性(distinct-2)上平均提高了16.3%和15.4%;相较于基于注意力机制的序列到序列模型(Seq2SeqA),所提出的模型在unigram多样性(distinct-1)和bigram多样性(distinct-2)上平均提高了26.7%和28.7%。

关键词：情感对话生成融合模块主题模型序列到序列注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的情感对话生成方法研究

基于深度学习的情感对话生成方法研究

作者：陈闰雪四川轻化工大学

学位级别：硕士

随着网络的发展和计算机处理能力的提高,深度学习技术在自然语言处理领域不断发展。对话生成技术是自然语言处理任务之一,也是机器与人交流的桥梁。在智能客服以及在线教育中应用越来越广泛,然而该类对话忽视了情感因素对回复的影响。... 详细信息

随着网络的发展和计算机处理能力的提高,深度学习技术在自然语言处理领域不断发展。对话生成技术是自然语言处理任务之一,也是机器与人交流的桥梁。在智能客服以及在线教育中应用越来越广泛,然而该类对话忽视了情感因素对回复的影响。不同的情感可以表达不同的思想,愉快的情感可以起到安抚的效果。因此本文主要研究情感对话生成。本文对基于注意力机制的情感分类模型改进,提高情感分类的准确率。针对现有情感对话生成模型存在回复单一、情感不符的问题,结合情感分类器与生成器,构建一种特定情感对话生成模型,在生成器中加入注意力机制提高回复质量。为了能自动识别输入语句的情感,并作出相应的情感回复,本文构建一种非特定情感对话生成模型,旨在实现自动情感回复,主要研究内容如下:(1)为得到准确度更高的情感分类器,通过对注意力机制进行相关研究。本文主要在两个方面进行改进:改变对齐分数求取方式、优化记忆矩阵,构建5种改进模型。为了验证算法的有效性,在Sem Eval 2014、twitter数据集以及中文微博数据集上进行实验。将精度最好的模型作为情感对话生成的情感分类器。(2)针对情感对话回复单一、情感不符的问题,本文提出一种特定情感对话生成模型(SEDG),通过指定情感生成相应的回复。该模型由生成器和情感分类器组成,生成器采用基于Seq2Seq模型,通过情感分类器指导生成器生成指定情感的回复。首先,将指定情感向量化,令生成器生成回复,情感分类器对回复进行分类得到回复情感向量。然后,通过余弦函数计算指定情感向量与回复情感向量的相似度,将余弦相似度与生成器的损失函数结合得到情感损失函数。最后,通过随机梯度下降算法不断训练直到收敛,生成指定的情感回复。在NLPCC 2017情感对话数据集上进行实验,相比ECM模型,本文提出的SEDG模型一致性更好、情绪安抚效果更好。(3)为了能自动的进行情感对话,本文提出一种非特定情感对话生成模型(NSEDG)。该模型由1个生成器与2个情感分类器组成,2个情感分类器分别对输入序列与生成回复进行情感分类,得到输入序列情感向量Emo A与回复情感向量Emo B,通过情感对应规则得到Emo A对应的情感向量Emo A＿r,计算Emo B与Emo A＿r的余弦相似度,将余弦相似度与生成器的损失函数结合得到情感损失函数,通过随机梯度下降算法不断训练直到收敛,生成相应的情感回复。在NLPCC 2017情感对话数据集上进行实验,相比Seq2Seq,A-Seq2Seq模型,本文提出的NSEDG模型一致性更好、情绪安抚效果更好。

关键词：情感对话生成情感分类注意力机制深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的情感对话生成模型研究

基于深度学习的情感对话生成模型研究

作者：李孟华中师范大学

学位级别：硕士

人机对话作为人工智能领域的核心技术之一,一直以来备受学术界与工业界的关注。早期,人机对话系统的构建主要基于规则、模板或者检索的方法。近年来,深度学习技术的发展使得现有人机对话技术有了突破性的进展。随着人机对话系统应用场... 详细信息

人机对话作为人工智能领域的核心技术之一,一直以来备受学术界与工业界的关注。早期,人机对话系统的构建主要基于规则、模板或者检索的方法。近年来,深度学习技术的发展使得现有人机对话技术有了突破性的进展。随着人机对话系统应用场景的不断扩展,人们提出更高的需求,无论是任务型人机对话还是开放域的闲聊,都希望机器兼具智商与情商,能够灵活地与人交流,理解并且表达情感,而不是给出冷冰冰的回复。然而,现有的对话生成研究大多致力于提高回复内容的相关性,在情感对话生成上的研究还较少。本文研究基于深度学习的情感对话生成,即根据用户对话消息与指定情感类别,生成语法正确、内容相关且包含指定情感的回复,情感类别包括{其他、喜欢、悲伤、厌恶、愤怒、快乐}六种。本文的主要工作如下。本文提出基于内容与情感联合解码的情感对话生成模型（EDG-JDCE）。研究表明,在对话生成模型中加入情感因素会导致生成回复的内容相关性降低。为了缓解上述问题,该模型构建基于内容与情感的联合注意力机制与联合解码器。在解码器中设计独立的内容解码单元与情感解码单元,分别学习对话中内容与情感的表达能力。在解码过程中,引入基于内容与情感的联合注意力机制,根据内容与情感的表达状态,获取注意力权重,动态对用户对话消息进行编码。同时,本文在该模型的基础上,探讨One-hot与Embedding两种常见的情感类别表示方式对模型的影响。本文在NLPCC2017发布的情感对话语料上进行对比实验,实验结果表明,相比其他模型,该模型在各项评价指标上均有一定程度的提升。EDG-JDCE模型使用极大似然函数作为目标函数,同样会出现这种方法下普遍存在的“安全回复”的问题,如“我不知道”等。为了提高回复的多样性,本文提出基于序列生成对抗网络的情感对话生成模型（EDG-SeqGAN）,主要包括生成器、内容与情感鉴别器。生成器使用EDG-JDCE模型,内容与情感鉴别器均基于双向长短时记忆网络。在对抗训练中,使用内容鉴别器保证生成器生成与用户对话消息内容相关的回复,使用情感鉴别器引导生成器生成包含指定情感类别的回复,从而最终生成更接近真实对话的回复,提高回复的多样性。实验结果表明,本文模型生成的回复在内容和情感上相关,同时也更加丰富、多样。

关键词：深度学习情感对话生成序列到序列模型序列生成对抗网络注意力机制

基于主题模型与变分自编码的情感对话生成技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主题模型与变分自编码的情感对话生成技术研究

作者：彭叶红华中师范大学

学位级别：硕士

人机对话作为人工智能领域的核心技术之一,以其广阔的应用前景以及诱人的商业价值备受学术界和工业界的瞩目。从早期的Eliza和Parry,到类似Siri的智能个人助手,再到如今的聊天机器人,如小冰,人机对话系统不断地改变着人们的生活。聊天... 详细信息

人机对话作为人工智能领域的核心技术之一,以其广阔的应用前景以及诱人的商业价值备受学术界和工业界的瞩目。从早期的Eliza和Parry,到类似Siri的智能个人助手,再到如今的聊天机器人,如小冰,人机对话系统不断地改变着人们的生活。聊天机器人,旨在通过人机交互中自然、流畅且多样的对话以满足人类的交流以及情感陪伴的需求。因此,一个出色的聊天机器人应该同时具备智商和情商。然而,现有的对话系统的研究工作主要聚焦于改善句子的质量,对于情感的关注还相对较少。因此,本文主要关注情感对话生成,该任务旨在生成蕴含情感且语义流畅的回复,从而实现更加自然的人机交互。近年来,随着深度学习技术的流行,研究人员逐渐采用seq2seq生成模型来实现对话系统,而不仅是依赖基于模板和检索等方式。因此,本文分别将seq2seq模型与主题模型和变分自编码器相结合来提高回复的相关性和多样性,并且在此基础上融合情感因素,使得模型能够生成蕴含情感的回答。本文的主要工作如下:1)为了生成蕴含情感且与输入内容相关的回复,本文将情感因素和主题信息同时与seq2seq模型相结合,构建了一个基于注意力机制的主题增强情感对话生成模型(TE-ECG)。该模型首先通过基于双向长短期记忆网络的编码器对输入进行编码,然后利用一个Twitter LDA模型获得输入的主题词作为模型的额外输入,主题信息的融入使得输入和输出共享同一主题,保证了回复内容的相关性。最后,模型通过动态情感注意力机制同时捕捉输入文本及额外的主题词中与情感相关的信息。本文在NLPCC-ICCPOL 2017发布的情感对话生成语料上进行了实验。基于人工评价和自动评价的实验结果表明,TE-ECG在各项指标上相比其他方法均有一定的提高。2)TE-ECG模型融入了情感的同时改进了句子的质量,但回复内容仍然缺乏多样性。为了缓解这个问题,本文提出了基于变分自编码的情感对话生成模型(VAE-ECG),其利用VAE的特性能够更好地对文本的潜在语义进行建模。该模型分为三个模块:变分编码器用来编码输入和输出序列;变分推理是为了对隐变量的近似后验分布进行建模;变分解码器利用上下文语义向量、隐变量以及情感状态解码得到生成的回复。本文在NLPCC-ICCPOL2017发布的情感对话生成语料上进行了实验。基于自动评价的实验结果表明,VAE-ECG模型在基于Unigram和Bigram的多样性指标上相比其他基准模型均有一定的提高,验证了该方法的有效性。

关键词：情感对话生成主题模型变分自编码深度学习