多模态课程学习知识图谱实体预测方法研究

作     者：许智宏 郝雪梅 王利琴 董永峰 王旭 XU Zhihong;HAO Xuemei;WANG Liqin;DONG Yongfeng;WANG Xu

作者机构：河北工业大学人工智能与数据科学学院天津300401 河北省大数据计算重点实验室天津300401 河北省数据驱动工业智能工程研究中心天津300401 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2024年第18卷第6期

页      面：1590-1599页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：河北省高等学校科学技术研究项目(ZD2022082) 中国高等教育学会2022年度高等教育科学研究规划课题(22XX0401) 河北省高等教育教学改革研究与实践项目(2022GJJG049) 

主　　题：课程学习 多模态 生成对抗网络(GAN) 负采样 

摘      要：现有知识图谱实体预测方法一方面只利用邻域和图结构信息增强节点信息,忽略了知识图谱之外的多模态信息对于知识图谱信息的增强;另一方面正负样本对比训练模型时负样本随机排序导致训练效果不佳,且没有额外的信息帮助负样本的训练过程。为此,提出了一种多模态课程学习知识图谱实体预测模型(MMCL)。首先把多模态信息引入知识图谱实现信息增强,利用生成对抗网络(GAN)优化多模态信息融合过程,生成器生成的样本增强知识图谱信息,同时也提升鉴别器判别三元组真伪的能力;其次利用课程学习算法根据负样本的难易程度对负样本从易到难排序,通过步调函数分层次地把排序的负样本加入到训练过程中,更有利于发挥负样本鉴别三元组真伪的效果,同时无标签学习避免了训练后期假阴性问题;多模态信息融合互相优化的鉴别器与课程学习训练模型共享参数,帮助提升负样本的训练效果。在FB15k-237和WN18RR两个数据集上进行实验,结果表明,MMCL与基线模型相比,在平均倒数排名(MRR)、Hits@1、Hits@3以及Hits@10四个性能评价指标均有明显提升,验证了所提模型的有效性和可行性。