基于LSTM神经网络的对话生成方法研究

作     者：秦石磊 

作者单位：重庆邮电大学 

学位级别：硕士

导师姓名：徐洋

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：自然语言处理 深度学习 对话生成 长短期记忆神经网络 

摘      要：在以人工智能作为国家发展战略技术的驱动下,作为人工智能产业中自然语言处理领域的典型应用,闲聊式的人机对话一直是评价智能化进程的重要标准。本文面向开放领域的对话场景,针对对话过程中的文本生成问题,通过深度神经网络模型的构建,完成对话文本所含语言规律、知识结构以及语义信息的学习,实现对话文本在交互过程中的多样性表达,同时提升人机对话的语义相关性。本文的主要研究过程从以下两个方面进行:针对检索式对话文本的深层语义特征提取,采用循环神经网络构建对话匹配模型,通过长短期记忆神经网络消除循环神经网络的长期依赖问题,完成输入语句与生成回复的语义编码,获取深层语义的特征向量表示,根据语义匹配度算法得到输入语句与回复向量的匹配值,进而筛选出最佳回复语句。针对生成式对话文本的多样性表达任务,以序列到序列的编码-解码模型为对话生成的研究基础。利用长短期记忆神经网络在处理长对话文本序列问题上的优势,获取长文本语句的语义表达信息,通过注意力机制有效调整语句中关键词对于生成序列的权重,提高对话回复文本语义表达的准确性。同时,针对生成回复的多样性问题,通过双向长短期记忆神经网络提高模型对于语句的编码能力,引入多样性集束搜索算法和最大互信息训练网络模型,消除生成语句陷入局部最优点的问题,通过每一次的top-k计算迭代,从而得到前k个序列语句,实现对话生成回复的多样性表达。实验表明,基于信息检索的对话语义相关性更高,语句结构更完整,但是创新性和多样性较差;生成式对话可拓展性更好,回复语句的创新性更高,更具研究前景。