基于关联实体检测的化验单结构化信息抽取方法研究

作     者：李秋月 

作者单位：山东师范大学 

学位级别：硕士

导师姓名：万洪林

授予年度：2024年

学科分类：1001[医学-基础医学(可授医学、理学学位)] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：文档信息抽取 化验单 Transformer 自注意力机制 多模态特征融合 目标检测 光学字符识别 

摘      要：在信息化和数字化的时代背景下,各行各业都在努力适应并推动数字化转型。对于医疗、保险和金融等行业,由于其特殊的业务需求,纸质单据和报告的大量存在成为了一个亟待解决的问题。这其中,化验单作为医疗领域中的重要文档,记录了患者基本信息、化验项目、结果数值、参考范围等关键信息,对于医生进行诊断和制定治疗方案具有至关重要的作用。传统纸质化验单存在不利于数据共享、传输困难等问题,在一定程度上阻碍了医疗效率的提高和医疗服务的优化。为了解决这一问题,化验单文档智能化成为了研究的热点。 目前,对化验单智能化的研究多限于感知智能层面,即通过光学字符识别技术(Optical Character Recognition,OCR)识别扫描或拍照存储的化验单文本内容。但这种方法只能进行浅层的数据提取,无法理解数据间的深层关系。因此,工业界和学术界正转向认知智能的研究,致力于探索文字背后的深层含义。在这一趋势下,本文基于认知智能视角,利用多模态融合网络Transformer和目标检测技术,对化验单进行结构化信息抽取,以推动相关领域的研究与实践。具体的工作包含以下两个方面: 本文提出了一种新颖的基于精炼注意力Transformer的化验单信息抽取模型,旨在从化验单图像数据中准确地提取关键信息。该模型的核心在于其独特的精炼注意力模块,它通过融合先前的位置信息来动态调整当前位置的注意力权重,增强局部信息感知。这种设计策略使得模型能够捕获更为具体的上下文相关的信息,进而提升了信息抽取的性能。为了验证所提出模型的有效性,本文在公共数据集FUNSD、XFUND以及自建的真实场景中收集的中文化验单数据集(Chinese Medical Examination Report Dataset,CMERD)上进行了广泛的实验。结果表明,本文提出的模型在化验单文档信息抽取的子任务:语义实体识别(Semantic Entity Recognition,SER)和实体关系抽取(Relationship Extraction,RE)上均取得了具有竞争力的性能表现。 本文设计了一个基于目标检测技术的关联实体检测模型,用于获取化验单表体中每行检验项目的位置信息。模型主干网络包含了一个层内调节模块,它能够同时提取全局特征并关注局部角点区域。该模块对于化验单表体行检验项目这类的密集长条框检测任务十分敏感,能够准确地定位和提取化验单中每个检验项目的相关内容。在CMERD上进行训练和评估的结果显示,本文提出的模型在表体行检测任务中的性能优于当前的模型。此外,本文还设计了用于融合文档信息抽取以及关联实体检测结果的结构化后处理模块,以达到化验单图像信息结构化抽取的目的。 实验结果表明,本文提出的方法可以成功识别化验单文档图像中所有关键实体,执行实体关系抽取,并生成支持智能医疗文档的结构化输出。对于推动医疗行业的数字化转型和智能化发展具有重要意义。