融合外部知识图谱的多模态知识共创价值识别研究

作     者：王松 焦海燕 刘新民 

作者机构：山东科技大学经济管理学院 青岛农业大学经济管理学院 

出 版 物：《情报理论与实践》 (Information Studies:Theory & Application)

年 卷 期：2024年

核心收录：

学科分类：1205[管理学-图书情报与档案管理] 12[管理学] 120502[管理学-情报学] 

基　　金：国家自然科学基金项目“不确定需求下的拉动式合约拍卖协商机制研究”(项目编号:71471105) 山东省社会科学规划项目“数智驱动下颠覆性技术创新早期识别机制研究”(项目编号:23CTQJ05)的成果 

主　　题：多模态 知识共创 知识增强 价值识别 多头注意力机制 

摘      要：[目的/意义]快速且精准地识别海量多模态数据中的价值性内容，对于促进知识传播、提升产出质量具有重要的意义。[方法/过程]基于可解释性视角聚焦知识共创中“用户+多模态知识的双重推进机制。首先，依托BERT+BiLSTM与ResNet模型分别提炼文本与图片特征以获取多模态知识向量表示；其次，依据社会认知理论剖析用户行为，采用DeepFM捕捉交互特征间的关联生成用户向量表示；再次，借助K-BERT对文本数据嵌入知识图谱得到外部知识向量表示；最后，基于多头注意力机制融合各维度特征向量，通过动态调整权重完成价值内容的识别。[结果/结论]通过使用魅族Flyme社区数据进行实验，所构建的融合模型准确率达到88.31%，相较于其他基线模型与组合模型，评价指标均有不同程度的提升，证明嵌入外部知识并融合文本、图片与用户属性可以有效提升价值的识别效果。