基于知识图谱嵌入的复杂推理和多模态表示方法研究与实现

作     者：汪凯 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：张春红

授予年度：2023年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：知识图谱嵌入 复杂推理 多模态表示 

摘      要：将人类知识与人工智能相结合是学术界一直探索的方向之一,也是增强人工智能算法解决复杂问题的必要手段。知识图谱对人类知识进行精炼,通过嵌入技术赋能后续的算法应用。现阶段知识图谱场景下的复杂问题主要包括越来越复杂的查询问题和越来越广泛的数据模态。如何在传统知识图谱嵌入的研究基础上处理复杂查询问题和多模态场景成为业界和学术界关心的重点。目前针对知识图谱嵌入的研究集中在如何更好的建模知识三元组,只具备在单一模态的简单推理能力,难以适应于如知识图谱复杂推理、多模态知识图谱表示等关键问题。本课题针对基于知识图谱嵌入的复杂推理问题和多模态表示问题进行了研究,主要内容如下:针对基于知识图谱嵌入的知识图谱复杂推理问题,本文提出了SignalE算法。传统知识图谱嵌入形式无法很好的处理逻辑非操作的问题,SignalE提出了一种新的嵌入形式-离散信号嵌入,以处理完整的一阶逻辑查询问题。在同一维度下,离散信号嵌入具有可以相互转化的时域表示和频域表示。基于频域表示,关系投影操作被从神经网络简化为平移操作,逻辑非操作通过翻转频域表示的虚部来建模逻辑语义取反。在多个基准数据集上的实验结果表明,本课题提出的SignalE算法不仅在预测性能上超过了众多基线模型,并且模型参数规模降低,训练速度取得大幅度提升。针对多模态知识图谱表示研究问题,本文提出了 MPKGAC算法,并将其应用于多模态知识图谱补全任务。现有的多模态知识图谱补全方法侧重于使用文本或视觉模态的特征来增强结构化知识表示,但对于多模态信息的交互和利用并不充分,并且忽略了知识模态、文本模态以及视觉模态的独立性。本课题提出基于三流机制的多模态知识图谱表示方法,独立建模知识、文本、图像三种模态,并通过定向的前缀注意力机制和模态间令牌级别的相似度矩阵来控制多模态信息的交互过程。多模态综合解码器被提出用于充分利用模态的互补信息以增益预测性能。与基线模型相比,MPKGAC在各项指标上均取得了最好的预测性能。此外,MPKGAC在实际电商场景中应用于多模态商品属性值补全,具备了一定的实际应用能力。针对知识图谱技术赋能高等教育场景,本文进行了工程实践。针对高等教育阶段,围绕电子信息类学科构建了基于“知识粒度的学科知识图谱本体,开发了知识图谱智能搜索及可视化网站,通过图谱可视化、图谱漫游、知识定位、知识关联等功能,用户可以更加直观、快速的浏览学科知识体系和更加准确的定位目标知识点,从图片、公式、讲解视频、百科等多种模态来理解知识点。此外,将上述复杂推理算法在学科知识图谱平台进行了具体实践,支撑平台具备复杂问题检索能力。整个系统为学生用户提供了多种多样的知识搜索和可视化功能,使高等教育教育阶段的学生主动把握学科知识体系。