FGITA:一种基于细粒度对齐的多模态命名实体识别框架

作     者：吕学强 王涛 游新冬 赵海兴 才藏太 陈玉忠 

作者机构：北京信息科技大学网络文化与数字传播北京市重点实验室 青海师范大学藏语智能信息处理及应用国家重点实验室 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北京市自然科学基金项目（4212020）资助 国家自然科学基金项目（62171043）资助 北京未来区块链与隐私计算高级创新中心、中央引导地方性项目“福建心理健康人机交互技术研究中心”（2020L3024）资助 北京市教育委员会研究与发展计划项目（KM202111232001）资助 图神经网络与数据挖掘应用平台项目（2022-ZJ-T02）资助 

主　　题：多模态 命名实体识别 信息抽取 知识图谱 对比学习 

摘      要：命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中。随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳。近年来，多模态命名实体识别任务广受重视。然而，现有的多模态命名实体识别方法中，存在跨模态知识间的细粒度对齐不足问题，文本表征会融合语义不相关的图像信息，进而引入噪声。为了解决这些问题，提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA: A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment)。首先，该方法通过目标检测、语义相似性判断等，确定更为细粒度的文本实体和图像子对象之间的语义相关性；其次，通过双线性注意力机制，计算出图像子对象与实体的相关性权重，并依据权重将子对象信息融入到实体表征中；最后，提出了一种跨模态对比学习方法，依据图像和实体之间的匹配程度，优化实体和图像在嵌入空间中的距离，借此帮助实体表征学习相关的图像信息。在两个公开数据集上的实验表明，FGITA优于5个主流多模态命名实体识别方法，验证了方法的有效性，同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性。