基于多模态信息融合的用户连接方法

作     者：范耀文 周乾 陈伟 赵雷 FAN Yao-wen;ZHOU Qian;CHEN Wei;ZHAO Lei

作者机构：苏州大学计算机科学与技术学院江苏苏州215000 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第9期

页      面：2641-2648页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金面上基金项目(62272332) 江苏省高等学校基础科学(自然科学)研究重大基金项目(19KJA610002) 

主　　题：用户连接 用户身份识别 实体用户 社交媒体 复杂网络 表示学习 多模态融合 

摘      要：为弥补用户连接现有工作中存在的以下两个问题:大部分方法只考虑用户的文本和网络结构信息,忽略了图像等多模态信息;现有方法大都通过简单的特征拼接融合不同模态的信息,忽略了这些信息的互补性、关联性和异质性,提出一个基于多模态信息融合的用户连接模型MIFUIL。获取用户的文本、视觉以及异构网络的嵌入表示;利用注意力机制学习不同模态信息间的互补性、关联性和异质性,获取用户多模态信息的融合嵌入表示,通过多模态对比学习实现跨平台的用户连接。实验结果表明,MIFUIL模型在两个多模态数据集TWFQ、DB-YAGO上的性能均优于现有方法。