基于CNN与GNN的多阶段信息融合推理模型

作     者：孙俊辉 邓怡辰 余敦辉 肖奎 

作者机构：湖北大学计算机与信息工程学院 武昌首义学院 大数据智能分析与行业应用湖北省重点实验室 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2025年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62377009) 

主　　题：知识图谱推理 信息融合 图结构信息 图像信息 

摘      要：链接预测旨在识别知识图谱中潜在缺失的三元组。为了得到更优的效果，一些研究引入了多模态信息来进行链接预测。然而这些传统多模态推理方法仍存在处理图像数据欠缺、忽略局部信息、单独利用多模态信息，忽略不同模态之间复杂的相互作用等问题。基于此，进而提出一种基于CNN与GNN的多阶段信息融合推理模型AGRMCG，通过在VGG16上引入一个新的多尺度注意力模块，得到的特征表示会根据注意力的影响进行动态调整，以增强模型对图像的表征能力。同时利用局部结构编码器和全局信息编码器从不同视角提取知识图谱实体特征，共同增强对图谱结构信息的捕捉能力。最后在信息融合方面，通过两个阶段对多模态进行融合推理，在第一阶段的多模态融合中利用Tucker分解和对比学习捕捉多模态数据中复杂的特征信息，通过上下文模型得到各个模态以及融合后的多模态预测评分，在第二阶段的决策融合中对多模态在内的所有模态的预测进行加权平均，以增强不同模态信息的互补性，从而获得更优的推理结果。最终在3个数据集上进行的大量实验结果表明AGRMCG模型可以有效缓解当前面临的多模态特征提取和信息融合效果欠佳的问题，与6类基准模型相比，所提模型平均提高了3.168%的预测精度。