检索结果-南通市图书馆

基于生成式模型的小学生课程问答系统的研究与实现

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于生成式模型的小学生课程问答系统的研究与实现

作者：吴越华中科技大学

学位级别：硕士

近年来,以自然语言处理为基础的问答系统蓬勃发展并成为各行业热门,其中,教育背景下的课程知识问答系统可将学生问题从时间空间限制中解放出来,提高学习效率。但当问答系统服务对象为小学生时,针对其思维灵活和问题多样等特点,如何提高... 详细信息

近年来,以自然语言处理为基础的问答系统蓬勃发展并成为各行业热门,其中,教育背景下的课程知识问答系统可将学生问题从时间空间限制中解放出来,提高学习效率。但当问答系统服务对象为小学生时,针对其思维灵活和问题多样等特点,如何提高系统问答质量与效率是研究的重点。针对用户提出的需求,明确小学生课程问答系统目标,以生成式和检索式结合设计了系统总体框架,并针对问答生成模块进行详细分析,重点阐述了改进生成式模型和融入问答风格的方案。对于改进生成式模型,构建了基于注意力机制和残差连接的改进的HRED模型。引入注意力机制对上下文中最邻近语句中的各词语,根据重要程度不同赋予不同权重,以生成更符合当前问答内容的回复,提高系统问答质量。同时在上下文编码的过程中加入残差连接,将当前语句编码与上一语句编码相加后输入下一语句编码中,防止网络过深带来的梯度消失和信息遗失问题,满足问答系统的多轮次交互需求。最后使用最大互信息对候选响应重新排序获取最佳回复,降低问答系统出现无意义回复的概率。对于融入问答风格,为丰富小学生课程问答系统功能,回复语句不仅要求语法正确表达自然,且需较为精准的符合学生选择的风格特性。因此,在HRED模型解码阶段引入BRET模型为问答风格分类器,充分提取文本的有效特征,设计问答风格损失函数辅助模型生成指定类别的风格回复。为评价改进模型和融入问答风格的有效性,分别在相应的公开数据集上设计对比实验,结果表明经改进的模型效果更好,在引入BERT模型为问答风格分类器后模型能更精准的实现问答风格分类,可满足用户对问答生成模块的要求。最后,在对问答系统分析设计的基础上,针对除检索式部分进行实现后,按照测试目标对系统进行测试,结果表明系统可用性较好,能满足用户对系统的要求。

关键词：问答系统生成式对话课程情感对话生成注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的对话系统多样性增强模型研究

基于深度学习的对话系统多样性增强模型研究

作者：苑浩中国科学院大学(中国科学院大学工程科学学院）

学位级别：硕士

随着深度学习技术的迅速发展,深度学习技术与自然语言处理技术结合的场景也越来越多,其中对话系统成为当前的研究热点。对话系统广泛应用于问答、客服、智能设备等领域,它带来了新的交互方式,降低了企业提供服务的成本。相较于检索式对... 详细信息

随着深度学习技术的迅速发展,深度学习技术与自然语言处理技术结合的场景也越来越多,其中对话系统成为当前的研究热点。对话系统广泛应用于问答、客服、智能设备等领域,它带来了新的交互方式,降低了企业提供服务的成本。相较于检索式对话,生成式对话跨领域能力和泛化能力强,更适合于开放域场景,因此本文主要聚焦于开放域的生成式对话任务。目前常用Seq2Seq模型构建对话系统,但是这样的模型存在学习不到长期依赖,安全回复重复率高,从而导致生成响应多样性低的问题。因此目前亟需提升生成响应的多样性。本文针对这个问题,主要工作如下:本文提出了基于分离Context机制与CVAE的Transformer对话模型用来提高对话系统生成响应的多样性。首先针对现有的模型无法显式的处理上下文话语和源语句之间的差异,本文提出的模型通过分离上下文机制,充分挖掘了上下文语句和源语句对于生成响应的不同影响程度。其次,模型使用CVAE结构引入隐变量,通过隐变量获得潜在语义分布的特点。针对现有基于RNN或LSTM的CVAE结构不能捕捉更长依赖的缺点,本文的模型使用Transformer融合CVAE结构的方式引入隐变量,不但可以捕捉到长期依赖的能力,还可以通过隐变量获得更加丰富的潜在语义分布,进而提高对话模型生成响应的多样性。最终在多轮对话的数据集上和现有模型的对比实验结果表明,本文提出的改进机制和改进模型可以有效地提升对话系统生成响应的多样性。

关键词：生成式对话对话多样性深度学习 CVAE

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种神经网络对话系统中的低频词压缩方法

一种神经网络对话系统中的低频词压缩方法

作者：巫思杏北京大学

学位级别：硕士

近年来,基于深度神经网络的生成式对话系统受到了来自学术界和工业界的广泛关注。生成式对话系统通常被建模为序列到序列任务,即将用户的问话当做源序列,回答用户的回复做为目标序列。Encoder-Decoder是当前用于实现生成式对话的主流框... 详细信息

近年来,基于深度神经网络的生成式对话系统受到了来自学术界和工业界的广泛关注。生成式对话系统通常被建模为序列到序列任务,即将用户的问话当做源序列,回答用户的回复做为目标序列。Encoder-Decoder是当前用于实现生成式对话的主流框架,由两部分组成,Encoder负责理解用户的问话文本,Decoder负责生成一个新的文本回复用户。目前大部分基于Encoder-Decoder框架的生成式对话系统采用词级别模型,即将对话中的文本表示为词向量序列,通过维护一个包含词向量的词表来理解或产生一个对应的词。受限于当前计算机硬件发展的限制,词表通常只能被设计为有限容量,词表之外的词将会变成未登录词。由于词表中不包含未登录词的词向量,因此未登录词不能被Encoder理解,也不能被Decoder生成,最终影响对话系统的整体性能,降低对话系统的生成质量。为了解决生成式对话中的未登录词问题,并改善基于Encoder-Decoder的对话系统的性能,本文提出了基于低频词压缩表示的生成式对话模型HL-EncDec。HL-EncDec将未登录词归类为低频词,并利用语言中字符数目恒定且总量少的特性,将低频词压缩到字符级别表示。在Encoder端使用卷积神经网络和低频词对应的字符获得等效的词向量,在Decoder端将低频词分解为字符序列,从而解决未登录词无法被理解或生成的问题。随后,本文还针对HL-EncDec在高频词和低频词词向量获得方式较为简单的问题进行了改进,并提出改进版本HL-EncDec+。为了验证HL-EncDec和HL-EncDec+的效果,本文在一个包含300多万对数据的中文数据集上进行了实验,实验结果显示无论在自动化指标评价中还是人工评价中HLEncDec与HL-EncDec+均获得好于基准模型的成绩,证明了其有效性。

关键词：对话模型生成式对话未登录词低频词

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

知识驱动的个性化对话系统算法研究

知识驱动的个性化对话系统算法研究

作者：陈春全北京邮电大学

学位级别：硕士

随着深度学习技术的发展以及互联网数据爆炸性的产生,构建人机交互的对话系统逐渐成为可能。对话系统有着巨大的潜在商业价值以及社会价值,应用场景很广,比如客服机器人和聊天助手等。智能对话系统的应用会越来越普遍,因此,深入地研究... 详细信息

随着深度学习技术的发展以及互联网数据爆炸性的产生,构建人机交互的对话系统逐渐成为可能。对话系统有着巨大的潜在商业价值以及社会价值,应用场景很广,比如客服机器人和聊天助手等。智能对话系统的应用会越来越普遍,因此,深入地研究对话系统是非常有必要的。本文主要研究开放领域的生成式对话,生成式的对话主要基于“编码器-解码器”框架,在对话语料上端到端地训练模型。本文围绕着上下文、背景知识和个性化信息这三个影响对话的重要因素,尝试来提高对话模型生成回复的质量。本文的研究内容主要包含了以下两个方面:(1)对话历史中包含了聊天背景、主题等信息,但对话系统仅根据对话历史不足以生成包含丰富信息的回复,还需要结合与对话历史相关的背景知识来弥补生成回复与输入消息之间的语义鸿沟。因此,本文提出了基于背景知识的上下文相关回复生成模型,在统一的对话模型框架中同时结合了对话历史和背景知识信息,来生成有丰富性的符合上下文语境的回复。本文用静态的图注意力机制来整体编码多个知识三元组,并与词向量融合来丰富和增强词的语义信息,进而促进对话系统更好地理解对话历史的语义。另外,在解码阶段用图级别和三元组级别的注意力机制来选择和读取合适的知识三元组,并将三元组的实体复制到回复中。(2)人是对话过程中的核心,如果忽略了讲话人的个性化信息,对话系统生成的回复在语言风格、回复语义以及兴趣爱好这些方面会有不一致性问题。为了更好地结合个性化信息,本文提出了基于双向注意力流机制的个性化对话模型。本文用双向注意力流来实现对话历史向量与用户画像向量之间的交互,得到了感知个性化信息的上下文表征,进而促进对话系统生成有一致性的个性化回复。

关键词：对话系统生成式对话背景知识个性化回复回复生成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识图谱的聊天机器人的设计与实现

基于知识图谱的聊天机器人的设计与实现

作者：丁浩天哈尔滨工业大学

学位级别：硕士

现代社会日新月异,人工智能技术成为时代研究的难点和热点。为了顺应历史发展的潮流,实现人工智能技术更好地落地,人机交互领域应当首先得到重视。在这个领域,智能聊天机器人又是重中之重,所以设计并实现一个高水准的智能聊天机器人是... 详细信息

现代社会日新月异,人工智能技术成为时代研究的难点和热点。为了顺应历史发展的潮流,实现人工智能技术更好地落地,人机交互领域应当首先得到重视。在这个领域,智能聊天机器人又是重中之重,所以设计并实现一个高水准的智能聊天机器人是当前人机对话领域的核心内容。论文基于当前聊天机器人实现的主要方式:检索式和生成式,对相关技术研究进行了分析整理,在前人研究的基础上,综合考虑优势劣势,采用了检索式与生成式对话互补的方法,对聊天机器人进行设计和实现。而在基于检索式的对话部分,又采用了知识图谱技术,这是一种较为新式的数据存储形式,主要应用在搜索引擎搜索答案的时候,能够加快答案的查询与生成,很适合充当聊天机器人的知识库部分。在基于生成式的对话部分,论文采用了Transformer的生成式对话模型,弥补了基于检索式的方法存在的不足,增加了聊天机器人回复的多样性。论文创新地将基于检索式的对话和基于生成式的对话相结合,取两者的优势,而避免两者的劣势,是成熟的设计思路。聊天机器人在运行状态下,能够针对用户不同的提问,采取不同的回答策略,从而生成截然不同的回复。除此之外,针对不同的用户,聊天机器人也能够识别出其身份,也会做出不一样的反应。以上表现能够满足对于一个聊天机器人对话功能的基本要求。从基于知识图谱的智能聊天对话机器人的设计与实现可以得到以下结论:一个智能的聊天对话系统,需要多种技术的支持。整个实现过程能够证明:聊天机器人的前端可以借助微信小程序进行设计,降低了开发成本,也便于后期的维护工作;在neo4j图形数据库中建立相应的知识图谱,能够提高系统的查询速度,从而提高聊天机器人生成对话的反应速度;智能对话的建立,又依赖于问题的分类以及模板的匹配,属于机器学习种的分类问题;基于深度学习的Transformer对话模型,则能够处理大量意料之外的用户提问;而为了能够对用户的历史聊天信息做出反应,需要将其保存在本地数据库中,用于查询。综上所述,多种技术相互辅助,相互结合,才能最终完成一个聊天机器人的设计与实现。

关键词：聊天机器人知识图谱检索式对话生成式对话

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于上下文语义的智能对话技术研究与实现

基于上下文语义的智能对话技术研究与实现

作者：王策电子科技大学

学位级别：硕士

深度学习技术的发展和广泛应用,极大地推动了自然语言处理领域的发展。人机对话系统作为自然语言处理领域的一大应用,是当今学术界和工业界研究的热点,随着智能语音助手、导航机器人等应用的发展,人机对话也将成为下一代人机交互的主要... 详细信息

深度学习技术的发展和广泛应用,极大地推动了自然语言处理领域的发展。人机对话系统作为自然语言处理领域的一大应用,是当今学术界和工业界研究的热点,随着智能语音助手、导航机器人等应用的发展,人机对话也将成为下一代人机交互的主要方式。本论文以生成式对话模型为研究对象,对多轮对话系统中的关键技术进行研究与应用。近年来的研究发现,多轮对话系统缺乏对历史上下文中的语义信息的掌控,导致通用回复、质量较差等问题。本论文通过引入自注意力机制和外部知识,有效筛选了历史上下文的信息,提高了模型回复的生成质量。本文具体研究内容如下:（1）提出了基于上下文信息筛选的生成式对话模型。针对常见模型对历史上下文信息不加使用或者不加区分的问题,通过引入自注意力机制的上下文信息筛选器,对历史会话进行词级、句子级信息筛选,分别分配不同的权重,从两个粒度把握历史上下文中的有益信息,增强有益信息对模型生成过程的影响,从而达到改善模型生成质量的目的。最后通过对比实验证实模型生成的回复与历史会话相关度更高,改善了回复生成质量。（2）提出了融入外部知识的两步解码生成式对话模型,在基于上下文信息筛选的生成式对话模型基础上,为了进一步改善回复生成的质量,对模型进行了改进。主要分为两个方面:第一是通过历史上下文的注意力表示对知识库进行相应知识选取,得到与历史会话相关的知识信息;第二是通过两步解码器将选取的知识融入回复生成中。最后通过对比实验证实模型有效地融入了知识信息,且两步解码的融合效果好于事先融合信息的一次解码过程,从而进一步提高了质量。（3）基于上述工作提出的生成式对话模型,设计实现了面向用户日常聊天的智能对话系统。并且通过测试表明,模型在生成回复的准确性、丰富性上均有一定的实际效果,为下一步研究奠定了基础。

关键词：生成式对话历史上下文自注意力机制两步解码器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于循环神经网络的单轮对话生成方法研究

基于循环神经网络的单轮对话生成方法研究

作者：郭一帆武汉科技大学

学位级别：硕士

人机对话是人工智能领域的前沿研究课题,其中涉及自然语言理解,知识和推理等。随着深度学习技术的进展,近年来对话系统成为了科技媒体和研究者社区探讨的焦点,很多效果较好的对话系统都使用了循环神经网络,将深度学习应用于对话具有重... 详细信息

人机对话是人工智能领域的前沿研究课题,其中涉及自然语言理解,知识和推理等。随着深度学习技术的进展,近年来对话系统成为了科技媒体和研究者社区探讨的焦点,很多效果较好的对话系统都使用了循环神经网络,将深度学习应用于对话具有重大的研究意义和应用价值。本文研究中文开放域对话系统中的基础问题,即短文本对话:不限定聊天场景的一问一答式的单轮对话,这也是研究对话系统中的核心问题。本文基于循环神经网络解决短文本对话生成问题,可分为检索式生成对话和基于生成模型生成对话。检索式系统提取输入和候选回复之间的文本特征,并根据各种文本匹配模型返回语料库中最合适的应答。实验对比了各种文本匹配模型,包括关键词匹配、浅层语义匹配和基于循环神经网络的深层语义匹配模型,实验结果表明综合统计信息和语义匹配的模型效果较好。本文还探索基于循环神经网络和Seq2Seq模型训练单轮对话生成模型,实验训练得到的模型能生成一个新的回复,但生成的句子中,很多都是不连贯且没有实际意义的句子,针对这个问题还有待于更多研究和探索。

关键词：短文本对话开放域检索式对话生成式对话循环神经网络