对比增强的关联记忆网络用于医学图像报告生成

作     者：王志强 曾宪华 WANG Zhiqiang;ZENG Xianhua

作者机构：重庆邮电大学计算机科学与技术学院重庆400065 图像认知重庆市重点实验室重庆400065 

出 版 物：《重庆邮电大学学报（自然科学版）》 (Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition))

年 卷 期：2024年第36卷第3期

页      面：503-512页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62076044) 重庆英才计划项目(cstc2022ycjh-bgzxm0160) 

主　　题：医学图像报告生成 关联记忆网络 双层LSTM 上下文信息 对比学习 

摘      要：在现有的医学影像诊断报告自动生成模型中,仅利用输入图像的视觉特征来提取相应的语义特征,并且生成词之间关联较弱和缺乏上下文信息等问题。为了解决上述问题,提出一种对比增强的关联记忆网络模型,通过对比学习提高模型区分不同图像的能力,设计了注意力增强关联记忆模块根据上一时间步生成的单词来持续更新,以加强生成医学图像报告中生成词之间的关联性,使得本模型可以为医学图像生成更准确的病理信息描述。在公开IU X-Ray数据集和私有胎儿心脏超声数据集上的实验结果表明,提出的模型在Cider评估指标方面明显优于以前的一些模型(与经典的AOANet模型相比较,在IU X-Ray上Cider指标提升了51.9%,在胎儿心脏超声数据集上Cider指标提升了3.0%)。