一种双向注意力的多模态Transformer活产预测网络

作     者：简献忠 贺林涛 郭强 张武文 

作者机构：上海理工大学光电信息与计算机工程学院 上海中医药大学附属曙光医院生殖医学中心 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年

学科分类：1001[医学-基础医学(可授医学、理学学位)] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 10[医学] 

基　　金：国家自然科学基金项目(42330110)资助 国家自然科学基金面上项目(81571442)资助 

主　　题：活产预测 深度学习 多模态 双向注意力机制 

摘      要：针对现有的多模态活产预测模型中，由于输入比例失衡、互补模态间信息融合不足、囊胚图像差异性小以及数据集类不平衡等带来的模型预测性能不高的问题，本文提出了一种双向注意力的多模态Transformer活产预测模型。首先，该模型使用多模态增强模块平衡了各模态输入的比例，并提高了各模态特征的辨识度；其次，通过多模态双向注意力模块挖掘模态内与模态间的内在关联性，有效获取了细粒度的互补模态特征；最后，通过引入焦点损失函数解决数据集类不平衡的问题。在Blastocyst数据集上进行实验，实验结果表明：提出模型的准确率、精确率、召回率、F1值以及AUC指标分别达到了77.11%、74.51%、76.16%、75.33%和75.66%，与现有先进的多模态活产预测模型相比，预测性能更佳。