基于知识图谱的文本自动生成技术的研究与实现

作     者：邓力为 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：陈佳

授予年度：2020年

学科分类：1205[管理学-图书情报与档案管理] 12[管理学] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 120502[管理学-情报学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：知识图谱 知识推理 随机游走 文本自动生成 自动问答 

摘      要：目前,在知识图谱领域的研究主要是针对知识图谱构建技术和基于知识图谱的应用两大方面。近几年来,知识图谱的构建技术研究取得了很大的进展,知识推理作为知识图谱构建的重要环节和关键技术也得到极大发展,通过知识推理能够从已有的知识中获得新的知识,从而进一步完善知识图谱。在知识图谱应用方面,最近几年利用知识图谱来实现文本自动生成也是人工智能研究的一个重要方面,我们期待着有电脑可以像人类一样写出高质量的自然语言文本的一天。本文提出了一种基于随机游走的知识推理算法和一种基于知识图谱的文本自动生成技术,本文主要工作和贡献如下:（1）提出了一种目标导向的随机游走算法,该算法使用特定推断目标作为随机游走过程中每个步骤的方向。具体来讲,为了实现这样的目标导向机制,在随机游走的每个步骤,算法通过使用最终目标动态地计算每个邻接点的势,并且向具有更高势的邻接点分配更大的概率。因此,该算法更倾向于访问有利于推断目标并避免转移到噪声结构的邻接点。与基本随机游走相比,本文的方法通过推理目标直接随机游走,提高了挖掘有用公式的效率,具有较强的抗噪声能力。与启发式方法相比,本文的方法可以自动学习随机游走策略,动态调整不同推理目标的策略,而启发式方法需要手工编写启发式规则,并始终遵循相同的规则。链路预测任务的实验证明,本文的方法在挖掘公式方面具有很高的效率,并且在WN18和FB15K数据集上都具有良好的性能。（2）构建了电影知识图谱,首先确定了从豆瓣获取所需的初始数据,然后分析了网站的网页结构,选择使用Python的requests库和bs4库再配合正则表达式的方式从豆瓣抓取原始数据。然后将电影数据中所有的一对多关系进行处理,全部分解成一对一的关系存放到对应的数据库表中,然后导出对应的CSV文件,再将所有CSV文件直接导入到Neo4j图数据库便都到了我们需要的知识图谱。最后,将目标引导的随机游走算法应用到电影知识图谱中,使构建的知识图谱更加完善。（3）利用构建好的电影知识图谱实现了文本自动生成系统,文本的生成是自动问答型文本的生成,是自动问答系统的延伸。本文以知识图谱为基础,将需要生成的文本分解为若干个子问题,在知识图谱中查询答案,最后利用查询的答案生成最终的文本。在系统实现过程中利用朴素贝叶斯算法和TF-IDF特征提取实现了对问题的分类,使各类问题能够找到其对应的Cypher查询模板。利用Word2Vec字向量语言模型、BiLSTM和CRF三者相结合的方式实现了命名实体识别的功能,从而能够对Cypher查询模板进行填充,得到完整的Cypher查询语句。在查询阶段,针对可能出现的如用户输入错别字、命名实体识别出现误差等情况导致的直接查询无果的情况,还设置了模糊查询功能。