密集视频描述的软组织肿瘤切除手术记录自动生成系统的研发与临床应用

作     者：王小荷 刘浩敏 程德斌 党竞医 李睿敏 缑水平 付军 范宏斌 Wang Xiaohe;Liu Haomin;Cheng Debin;Dang Jingyi;Li Ruimin;Gou Shuiping;Fu Jun;Fan Hongbin

作者机构：空军军医大学西京医院骨科西安710032 西安电子科技大学西安710126 

出 版 物：《中华创伤骨科杂志》 (Chinese Journal of Orthopaedic Trauma)

年 卷 期：2024年第26卷第1期

页      面：43-49页

核心收录：

学科分类：1002[医学-临床医学] 100214[医学-肿瘤学] 10[医学] 

基　　金：陕西省自然科学基金项目(2022SF-054) 西京医院2021年学科助推计划项目(XJZT21CM32) 国家自然科学基金(62102296) 西京医院2023年医务人员技术提升项目(2023XJSM12) 

主　　题：软组织肿瘤 人工智能 手术室信息系统 深度学习 手术记录生成 

摘      要：目的探讨密集视频描述的自动化良性软组织肿瘤切除术手术记录生成方法及应用价值。方法应用Transformer深度学习模型建立自动化手术记录生成系统,回顾性分析2021年9月至2023年8月空军军医大学西京医院骨科收治的30例良性软组织肿瘤患者手术视频。将患者数据按照8∶1∶1的比例随机分为训练集、验证集和测试集。在测试集上采用BLEU-1、BLEU-2、BLEU-3、BLEU-4、Meteor、Rouge、CIDEr共7个评价指标对模型生成手术记录文本质量进行评估,并与视频密集描述领域的经典算法并行解码的密集视频描述方法(PDVC)进行对比。结果该手术记录自动生成系统在测试集中运行的结果:BLEU-1、BLEU-2、BLEU-3、BLEU-4、Rouge、Meteor、CIDEr分别为16.80、15.23、13.01、11.68、16.01、12.67、62.30。经典算法PDVC的运行结果:BLEU-1、BLEU-2、BLEU-3、BLEU-4、Rouge、Meteor、CIDEr分别为15.63、14.17、11.90、10.45、12.97、11.99、53.64。本研究提出的方法所有指标均较PDVC有明显提升,BLEU-4、Rouge、Meteor、CIDEr分别提升了1.23、3.04、0.68、8.66,证明模型可以更好地抓取视频中的关键信息,有助于生成更有效的文本记录。结论基于密集视频描述的自动化良性软组织肿瘤切除术手术记录生成方法表现出良好的性能。