基于自适应权重和遗忘-互补机制的联邦知识图谱嵌入方法研究

作     者：李善勤 

作者单位：长春工业大学 

学位级别：硕士

导师姓名：郑虹;李佳伦

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 知识图谱嵌入 链接预测 模型遗忘 

摘      要：知识图谱通过三元组来描述事务属性以及事务之间的语义联系,被广泛应用于搜索引擎、问答系统和推荐系统等领域。尽管如此,现有的知识图谱常常是不完整的,其中实体之间的部分链接是缺失的,基于已观察到的三元组预测缺失的链接成为了一个重要的研究课题。知识图谱嵌入技术是解决链接预测任务的主流方法之一,它通过在低维连续的嵌入空间中学习实体和关系的表征来预测潜在的语义联系。然而不同组织持有的具有相关性的数据不能集中处理。在这种背景下,联邦学习环境允许通过分布式训练来进行知识图谱嵌入,从而有效地应对因隐私、安全需求及商业因素导致的数据共享限制。本文主要研究内容如下: (1)在联邦知识图谱嵌入任务中,各个客户端之间存在重叠的实体,在聚合过程中,这些重叠实体的嵌入质量通常是不均衡的,传统的平均权重聚合算法会妨碍全局模型达到最佳性能。针对这一问题,本文提出了一种自适应权重的联邦知识图谱嵌入方法Fed LTailo,通过分析客户端在本地训练过程中生成的损失值来评估嵌入的质量,并据此调整聚合权重,在服务器端聚合重叠实体的过程中,增加高质量实体嵌入的权重,减少低质量实体嵌入的权重,从而优化全局模型性能。同时,该方法通过将本地实体嵌入与全局实体嵌入融合,来减少全局模型与本地模型之间的差异,从而使每个客户端都能获得一个更加贴合其需求的个性化全局模型。在四个联邦知识图谱数据集上进行了实验,结果表明Fed LTailor方法在联邦知识图谱嵌入任务上具有一定的优势。 (2)在联邦知识图谱中,因为不同客户端中从实体A到实体B的路径通常是不同的,即使在某个客户端中某条路径被删除,模型仍可通过其他客户端中存在的路径来推断出已删除路径的信息。针对这一问题,本文提出了一种包含遗忘与互补双机制的Fed UC方法,将需遗忘的三元组集合作为负样本参与训练,显著降低这些三元组的评分,然后引入互补三元组集合重新进行嵌入训练,以增强模型在数据遗忘后的稳定性和准确性,从而在彻底遗忘相关知识的同时,不会影响模型的整体性能。在三个联邦知识图谱数据集上进行实验,结果表明证明Fed UC方法在处理联邦知识图谱的遗忘任务方面具有一定的优势。