检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于认知图谱的多轮对话系统的研究与实现

基于认知图谱的多轮对话系统的研究与实现

作者：蔡春江苏大学

学位级别：硕士

近几十年来,在自然语言处理(Natural Language Processing,NLP)领域,随着人工智能技术的发展,人机对话系统被广泛应用,成为各行业客户服务业务的重要组成部分。在人机对话过程中,为使机器生成的回复更准确且具备逻辑性,如何基于认知图... 详细信息

近几十年来,在自然语言处理(Natural Language Processing,NLP)领域,随着人工智能技术的发展,人机对话系统被广泛应用,成为各行业客户服务业务的重要组成部分。在人机对话过程中,为使机器生成的回复更准确且具备逻辑性,如何基于认知图谱构建多轮对话系统成为了研究重点。基于认知图谱的多轮对话系统,包含了以直觉识别和答案推理双过程为核心构建的认知图谱,并融合了对话追踪技术。在本文中,重点研究了基于动态语义规整算法的直觉识别和基于主题关系图谱的答案推理两个方面的技术问题。并基于该研究内容设计了一个应用于旅游景点向导领域的客服对话系统。具体的研究内容如下:(1)传统对话系统利用相似度匹配或端到端方式生成回复,忽略了对话的知识背景,具有短视效应。本文针对对话主题实体提取的研究,提出了一种基于动态语义规整算法的直觉识别模型。本文尝试在单轮答案推理和多轮对话两个维度使用动态语义规整算法对每轮问题进行语义矫正,并使用增强语义表示模型(Enhanced Representation through k Nowledge Int Egration,ERNIE)对每轮问题进行实体抽取和背景知识提取以扩展认知图谱,从而改进语义识别准确度。实验结果表明,通过对每轮问题进行语义规整和认知图谱扩展,可有效提升对话过程中系统的理解能力。(2)答案生成任务中图神经网络可有效地从认知图谱中推理出答案,但随着训练数据的增加存在难以训练的问题。针对该问题,本文设计了基于主题关系图谱的答案推理模型,通过使用百度汉语词汇分析(Lexical Analysis of Chinese,LAC)工具对问题进行解析,提取问题的句型及其包含的实体。再由问题句型匹配出回答句型,将该句型模板中包含的所有槽位抽取出并送入答案实体推理模块中进行推理,最终由回答生成模块结合推理得到的实体与原槽位实体生成最终的回答,减少了计算量,具有快速性和高效性。(3)本文将研究成果应用于旅游景点向导领域的客服对话系统,设计实现了一个基于认知图谱的多轮对话系统,可以基于对话背景知识和对话历史,对专业问题进行有效推理并给出合理的答案。

关键词：自然语言处理多轮对话系统认知图谱增强语义表示模型汉语词汇分析

基于Transformer框架的多轮对话系统模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Transformer框架的多轮对话系统模型研究

作者：赵宇猛辽宁工程技术大学

学位级别：硕士

针对在人机对话过程中人类语言多以省略句和短句表述难以将内容表述准确的问题,提出基于Transformer框架的多轮对话系统(Multi-turn Dialogue System Model based on Transformer Frame,MDBOT)模型,以多个不同领域的任务型人机对话系统... 详细信息

针对在人机对话过程中人类语言多以省略句和短句表述难以将内容表述准确的问题,提出基于Transformer框架的多轮对话系统(Multi-turn Dialogue System Model based on Transformer Frame,MDBOT)模型,以多个不同领域的任务型人机对话系统应用为背景,设计人机对话原型系统平台,将构建的模型嵌入平台,探索模型在实际生活中的应用性。首先,通过创新运用词频逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)算法完成识别模块设计,并构建长短期记忆网络(Long Short-Term Memory,LSTM)模型完成槽填充模块设计;然后,实现多轮对话的意图识别,运用意图识别算法完成意图识别模块设计,形成对不同算法在人机对话设计中的优势认知,运用意图识别算法为多轮对话系统构建形成技术支撑;其次,对基于Transformer框架下的多轮对话系统模型构建背景展开分析,通过分析多轮对话系统的算法框架与编码模块、记忆模块框架、文本内容生成模型和摘要生成模型,在Transformer框架上引入先验知识,采用动态文本向量,结合运用动态词向量作为词表征的训练方法,将动态词向量与文本经自注意力机制生成向量进行拼接并输入到编码器,通过运用解码器将向量完成解码,完成MDBOT的构建;最后,为了验证模型的可行性与优势,设计应用场景对构建完成的模型作出分析。实验采用ROUGE值作为评测指标,实验结果表明本文提出模型各项指标均超过基准模型,在多轮对话系统中能够对相关信息进行串联,并流畅的完成对话,验证了本次设计完成的多轮对话系统具有可应用性。该论文有图23幅,表8个,参考文献60篇。

关键词： Transformer框架多轮对话系统任务型模型构建

多层次语义模型在多轮对话系统中的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多层次语义模型在多轮对话系统中的研究与实现

作者：甄江杰华南理工大学

学位级别：硕士

使用计算机理解并回复具有复杂抽象信息的对话内容是一个具有挑战性的任务。传统的基于模板或者统计学的对话机器人实现缺乏灵活性与扩展性,并且这些方法实际上只是对语句表层的处理,计算机依然没有真正“理解”用户输入。近年来语音交... 详细信息

使用计算机理解并回复具有复杂抽象信息的对话内容是一个具有挑战性的任务。传统的基于模板或者统计学的对话机器人实现缺乏灵活性与扩展性,并且这些方法实际上只是对语句表层的处理,计算机依然没有真正“理解”用户输入。近年来语音交互的模型开始替代传统的UI界面,语音助手成为手机出厂的标配工具,智能音箱也开始进入人们的视野,成为家庭的一员。智能语音助手现在具备和智能家居交互的功能,也可以和用户进行闲聊。作为这些智能助手的“神经中枢”,自然语音处理模块扮演着异常重要的角色,而近年来的新的神经网络方法在这一领域发挥了强大的作用。随着计算机算力的提升,GPU加速驱动了使用神经网络模型处理对话系统的研究。在本文中,结合深度学习技术和传统的信息抽取技术,通过三个子模型,从词序列、语句序列和关键词中提取不同维度的信息,用于开放领域检索式对话系统的构建。本文首先提出的是词序列模型,模型使用循环神经网络技术对上下文和候选回复的语义信息编码到向量,并通过打分模型进行相似度匹配。词序列模型能利用LSTM网络特性,在全局层面捕获语义信息。语句序列模型使用了卷积神经网络技术,依次将历史对话和回复进行卷积操作,并利用注意力机制选择给不同轮次的对话以不同的权重,最后将结果输入到打分模型进行打分。语句模型利用了词模型丢失的轮次信息,和词序列模型优势互补。关键词模型是基于传统的信息抽取方法,使用信息抽取技术建立文档语义向量,并通过向量相似度进行打分。关键词模型的引入解决了词序列网络的记忆“衰退”问题,尤其在处理长上下文时可以发挥重要作用。本文在公开数据集中测试了由三个子模型结合的混合模型,并和基准方案做了对比实验,实验结果表明多层语义模型能够很好地利用历史信息,并在多个指标上显著超出了基准方案。与此同时,本文探讨了子模型超参和模型效果的关系,并使用可视化工具对模型作用原理做进一步分析。

关键词：多轮对话系统检索式聊天机器人深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

可配置任务型对话系统的研究与实现

可配置任务型对话系统的研究与实现

作者：陈明义西安电子科技大学

学位级别：硕士

随着科学技术的发展,特别是人工智能技术的兴起,任务型多轮对话系统逐渐成为学术界和工业界的研究热点。任务型多轮对话系统针对具体任务场景进行设计,通过与用户之间进行对话交互,收集所需信息,帮助用户完成特定任务。目前,任务型多轮... 详细信息

随着科学技术的发展,特别是人工智能技术的兴起,任务型多轮对话系统逐渐成为学术界和工业界的研究热点。任务型多轮对话系统针对具体任务场景进行设计,通过与用户之间进行对话交互,收集所需信息,帮助用户完成特定任务。目前,任务型多轮对话系统主要有基于管道和基于端到端两种构建方式。基于端到端的方法由于存在对数据需求量较大、可解释性差和对话流程难以控制等问题。因此目前主流的做法是通过管道的方式构建任务型多轮对话系统。管道式的实现方法将任务型多轮对话系统拆分成自然语言理解、对话管理和自然语言生成三大模块,各模块之间相互配合协作共同完成任务。管道式的任务型多轮对话系统将整个系统模块化,各模块可以根据具体任务场景自由替换,大大的提升了系统的灵活性,但该方法目前仍存有一些问题。一是自然语言理解模块将意图识别和槽位填充分开建模,没有利用两个子任务间的潜在关联。二是对话管理模块主要以规则实现的居多,没有利用人工智能技术的优势。三是任务型多轮对话系统普遍存在构建困难的问题,对非专业人士来说门槛较高。针对上述第一个问题,本文首先研究了自然语言理解中意图识别和槽位填充的联合模型,利用BERT做语义特征提取器作为两个任务的共享上下文信息,不同于以往的句子级别的意图识别,本文提出的模型利用字词级别的意图识别,通过集成学习的思想决出最后的意图。同时,在槽位填充阶段融合了字词级别意图信息,实验结果表明本文提出的模型在两个子任务上均有优异的表现,在两个数据集上的句子级别准确率分别提升了1.97和5.39个百分点。针对第二个问题,对话管理可分为对话状态跟踪和对话策略学习两部分,对话状态跟踪部分本文采用当前主流的基于规则方式实现。对于策略学习部分,本文提出了一种基于监督学习的对话策略学习方法,模型基于Transformer,利用单向自注意力机制获取对话历史中的有效信息,实验结果表明该模型在对话策略学习任务上的表现优于对比模型,当最大关注历史为2和10时,系统动作的F1值分别提升了0.16和0.08。和基于规则的方法一样,该方法也适用于冷启动的场景且具备一定领域迁移能力。针对第三个问题,本文结合以上两个研究内容,设计并实现了可配置任务型多轮对话系统,用户可自定义意图、实体及相应实例样本等信息,一定程度上降低了任务型多轮对话系统的构建难度。

关键词：多轮对话系统自然语言理解对话管理自然语言生成

基于单向Transformer和孪生网络的多轮任务型对话技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程 2021年第7期47卷 55-58,66页

作者：王涛刘超辉郑青青黄嘉曦深圳市易马达科技有限公司广东深圳518055

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低。为此,提出一种针对任务型对话系统的建模方法。引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分... 详细信息

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低。为此,提出一种针对任务型对话系统的建模方法。引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分的单向Transformer,将应答部分抽象成不同的指令,采用孪生网络对指令进行相似度排序,选择相似度最高的指令生成应答。在MultiWOZ数据集上的实验结果表明,与LSTM和基于Transformer模型相比,该方法预测速度更快,在小数据集上具有更好的性能,在大数据集上也能取得与当前先进模型相当的效果。

关键词：循环神经网络多轮对话系统预训练模型 Transformer模型孪生网络

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于场景上下文感知的多轮对话技术研究

基于场景上下文感知的多轮对话技术研究

作者：杜智康上海大学

学位级别：硕士

人机对话系统又称为聊天机器人、虚拟助理,它以对话的形式向用户提供搜索、订餐、购物等多种服务。近年来,随着深度学习的发展,基于循环神经网络的人机对话模型逐渐成为主流趋势。端到端的Seq2Seq模型,可以将输入自动编码为上下文表示,... 详细信息

人机对话系统又称为聊天机器人、虚拟助理,它以对话的形式向用户提供搜索、订餐、购物等多种服务。近年来,随着深度学习的发展,基于循环神经网络的人机对话模型逐渐成为主流趋势。端到端的Seq2Seq模型,可以将输入自动编码为上下文表示,然后将其解码为相应的输出,因而在对话系统中取得了显著效果。然而,Seq2Seq模型只能捕获当前输入的上下文信息,而对整个对话过程的上下文无法把握,因而无法处理多轮对话的情况。在多轮对话系统中,实时地提取对话的全局上下文信息并给出合理的答复,对于提供长期友好的人机交互有着重要作用。在长时间的对话过程中,通常会涉及多个对话场景的切换。不同对话场景上下文的不一致性,使得并非所有的上下文信息,都有利于当前应答的生成。因此,实时地感知对话场景的变化,以作出符合当前场景的正确应答,是人机多轮对话系统需要着重考虑的问题。本文旨在基于端到端的深度神经网络技术,实现能够充分理解对话上下文的非目标驱动人机多轮对话系统,具体研究工作分为以下几个方面:第一,以固定场景下的多轮对话为基础,构建基于层级编码与神经注意力机制的固定场景多轮对话模型,以学习对话中句子级与场景级的上下文向量表示。在固定场景下,场景的上下文随着对话的进行逐渐变化。场景级上下文向量将对话的全局上下文信息矢量化,是对话场景感知的关键元素。第二,构建基于场景上下文的场景感知多轮对话模型,以处理长轮次多场景的多轮对话问题。在长轮次的对话中周期性地记录场景上下文向量,在生成对话时,根据场景上下文相似度匹配,为多个场景分配不同的权重,结合多个场景的上下文信息,以生成符合当前场景的应答。第三,基于电影、电视剧剧本构建带有场景分割的多轮对话语料库,以解决当前公开多轮对话语料库不足的问题。基于爬虫技术和文本预处理方法,将剧本转换为结构化的多轮对话数据。通过对比实验,本文提出的模型在多个评估指标上取得了较好效果。

关键词：多轮对话系统场景上下文感知循环神经网络 Seq2Seq模型注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于指代消解的文本理解

基于指代消解的文本理解

作者：唐乾轲电子科技大学

学位级别：硕士

文本理解是对文本进行信息提取、语义分析,理解文本的真实含义,以便用于知识抽取、常识推理、对话系统、机器阅读理解等高级应用。文本理解的难点之一在于文本中存在着大量指代关系,即文本中某些词语所表示的对象与其他词语间的关联关系... 详细信息

文本理解是对文本进行信息提取、语义分析,理解文本的真实含义,以便用于知识抽取、常识推理、对话系统、机器阅读理解等高级应用。文本理解的难点之一在于文本中存在着大量指代关系,即文本中某些词语所表示的对象与其他词语间的关联关系,如共指与桥接关系,它们关系到对文本中实体、事件等语义信息的准确把握。因此,正确识别指代关系对于理解文本至关重要。然而,现有指代消解算法存在对全局信息利用不足、数据集规模较小等问题,导致模型性能表现不佳。基于以上问题,本文围绕两种不同的指代关系开展算法研究,具体研究内容如下:(1)提出基于跨度边界表示的共指消解算法,将文本建模为图结构,引入全局的图结构信息。现有基于提及对的共指消解算法依赖于跨度表示,频繁的构建跨度表示导致模型时空复杂度较高,此外算法对全局信息的利用也存在着不足。为此,本文提出基于跨度边界表示的共指消解算法,使用跨度边界而不是整个跨度进行计算,并对文本进行图结构建模,将全局的图嵌入到模型中对算法进行迭代优化,实现对全局信息的有效利用。通过实验表明,基于跨度边界表示的共指消解算法性能与基础模型相当,并在引入全局信息后性能得到提升。(2)提出基于多任务学习的桥接消解算法,引入任务间的一致性约束并对共享表示层进行预训练。现有桥接消解算法因数据集规模较小,难以有效的训练神经网络模型。为此,本文提出基于多任务学习的桥接消解算法,将桥接消解与共指消解、信息状态分类进行联合学习,利用这两个高度相关的子任务来提升桥接消解算法的性能,并从信息状态引入任务间的一致性约束,对模型整体的训练进行监督,从而进一步提升各任务的性能。通过实验表明,多任务学习与任务间的一致性约束均能有效提升桥接消解算法的性能。(3)完成融合指代消解的多轮对话系统。为了验证指代消解在文本理解中的作用,本文设计并实现了该系统。具体来说,本文使用上述指代消解算法对历史对话进行指代消解,将指代消解的结果融合到句子重写模型中,对用户当前的对话进行重写,消解了当前对话对历史对话的依赖,从而更准确地理解用户的意图,从而实现有效的聊天交互。

关键词：文本理解指代消解共指消解桥接消解多轮对话系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识图谱的三国问答系统研究与应用

基于知识图谱的三国问答系统研究与应用

作者：高瑞卿华东师范大学

学位级别：硕士

中华文明上下五千年历史,文化博大精深,三国时期作为漫长历史长河中一个群雄并起、最有魅力的时代,出现了一大批经典英雄人物,有其丰富的历史文化内涵,受到大众的喜爱,考虑到之前知识图谱工作在三国历史方面的空白,本研究构建了三国人... 详细信息

中华文明上下五千年历史,文化博大精深,三国时期作为漫长历史长河中一个群雄并起、最有魅力的时代,出现了一大批经典英雄人物,有其丰富的历史文化内涵,受到大众的喜爱,考虑到之前知识图谱工作在三国历史方面的空白,本研究构建了三国人物知识图谱,设计了12种本体,30种关系,有三元组11600条,并针对知识图谱的关键问题设计了模型。本文分析了现有知识抽取模型的模型架构和意图识别槽位填充模型存在的问题,在减弱噪声数据影响的同时充分利用数据集信息,设计效果更佳的方法。在此基础上,进一步应用在三国智能问答机器人的构建上,最终构建具有实用价值的多轮对话问答机器人,帮助人们更好地了解、梳理三国知识,同时能够为后续的中文历史文本研究提供一定的参考价值。本文研究了一种基于双粒度注意力和对抗训练的远程监督关系抽取方法,采用包内句子级注意力机制和组内包级别注意力机制将训练注意力逐渐集中到高质量的样本数据上,减少了远程监督标注带来的噪声数据的影响,并通过对抗训练来提高数据利用率。具体包括:数据预处理、句子编码、双粒度注意力的多示例学习、实例级对抗训练、模型迭代训练等步骤。在纽约时报数据集和自建的三国关系抽取数据集上通过模型效果的一系列对比实验证明了本方法的有效性。本文研究了一种基于双向交互注意力的意图识别和槽位填充联合方法,涉及口语理解领域,采用卷积和双向长短时记忆网络对用户提问进行句子表征,通过提出一种双向交互注意力机制,考虑两个任务之间的交叉影响,令槽位填充和意图识别可以加入相互的信息,其过程中使用了多头注意力,有效地实现了意图识别与槽位填充任务之间的信息补充。模型在SNIPS、ATIS数据集和自建的三国数据集上与现有5种技术相比有效地提升了意图识别、槽位填充各自任务的效果,具有一定的实用价值。最后,构建了可以令用户访问的基于知识图谱数据库的三国知识问答机器人,该问答机器人具有闲聊功能和意图继承、槽位继承模块,实现了简单的多轮对话。现将本文的核心贡献概括为以下四点:（1）针对远程监督关系抽取中的训练数据利用不充分的问题,本文采用包内句子级注意力机制和组间包级别注意力机制将训练注意力逐渐集中到高质量的样本数据上,减少远程监督标注的噪声数据的影响,通过提出对抗训练来提高数据利用率。与现有技术相比有效地降低了噪声句子和噪声包的影响,解决了训练不充分、数据利用率低的问题,增加了模型的鲁棒性,提升了关系抽取的效果。（2）针对意图识别和槽位填充中单方向交互问题,提出一种双向交互注意力机制,令槽位填充和意图识别可以参照相互的信息,过程中使用了多头注意力。与现有技术相比改进了之前模型隐式共享参数的方式,实现两任务共同训练;改进了之前模型显式训练仅仅使用意图识别来提高槽位预测的方式;改进了显式训练模型两个任务不同步的问题。（3）构建了三国语料,包含一个三国人物知识图谱和两个模型训练数据集。三国知识图谱数据集融合了百度百科、维基百科等关于三国人物、地点、事迹的一系列数据,包含12种本体、30种关系;实体6388个、三元组11600个。三国人物关系抽取数据集使用远程监督的方法生成,并在保障数据质量上充分考虑了头尾实体距离限制。开展意图识别和槽位填充实验所用的三国数据由手工编写并标注的数据和模板批量产生数据混合构成,设计中充分考虑了语言表达的丰富性和用户表达的口语化,数据集已经公开在github网站（https://***/Ruiqing Gao/sanguo）。（4）开放智能问答机器人应用,可以实现多轮对话。人机交互以微信公众号为基础,按照语义解析式的任务型问答技术路线（意图识别、槽位填充、语义槽模板设计）设计出三国知识问答机器人,提供微信公众号（公众号名称:Nexus7Rachael）服务公开访问。

关键词：知识图谱远程监督意图识别槽位填充多轮对话系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的开放领域多轮对话技术研究

基于深度学习的开放领域多轮对话技术研究

作者：张聪杭州电子科技大学

学位级别：硕士

对话系统研究如何赋予机器使用自然语言与人交流的能力,是当前人工智能领域重要且具有挑战性的任务之一。近年来,随着微博、Twitter等网络社交平台的快速发展,研究者们能够很容易地获取大量对话数据,数据驱动的开放域对话系统成为了热... 详细信息

对话系统研究如何赋予机器使用自然语言与人交流的能力,是当前人工智能领域重要且具有挑战性的任务之一。近年来,随着微博、Twitter等网络社交平台的快速发展,研究者们能够很容易地获取大量对话数据,数据驱动的开放域对话系统成为了热门研究方向。其中,多轮对话系统符合人类对话的本质且具有广阔的应用前景,所以本文主要对开放域多轮对话系统进行研究。虽然现有工作提出了各种对话模型来提高对话系统的性能,但无论是检索式对话模型还是生成式对话模型,都存在一些亟待解决的问题。此外,将检索模型和生成模型相结合来提升响应的质量也是一个非常值得探索的方向。因此,本文从以下三个方面开展对多轮对话技术的研究,并基于深度学习技术提出了具体的解决方案。(1)检索式对话模型研究。针对检索式对话模型检索出的响应缺乏上下文相关性的问题,提出了基于上下文交互的深度匹配网络CIMN来匹配上下文和响应。该模型将对话上下文视为由多个单轮对话组成,使用每个单轮对话的应答句去衡量其对应问句中各个部分的重要程度,获得上下文中所有单词和话语的加权表示后,再和响应进行匹配,这有利于识别上下文和响应之间的语义关系,从而选择出上下文相关的响应。(2)生成式对话模型研究。针对生成式对话模型倾向于生成通用响应的问题,提出了层次多头注意力网络HMAN来建模对话生成过程。该模型的话语编码器、上下文编码器及响应解码器均基于多头注意力网络实现,使得编码出的话语表示、上下文表示能够捕捉到话语内和话语间的复杂依赖关系,从而生成更多样化、信息量更大的响应。(3)检索和生成相结合的混合对话模型研究。为进一步提升响应质量,提出了基于信息融合和重排序的混合对话模型IRHM。该模型将检索到的候选响应输入到生成模型中,为生成模型提供额外的相关补充信息;将生成的响应和检索到的响应进行重排序,以剔除检索到的不相关响应以及生成的无意义响应,从而使整个对话模型能够返回最合适的响应。

关键词：多轮对话系统检索模型生成模型深度匹配网络多头注意力网络混合对话模型