检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

文档智能:数据集、模型和应用

中文信息学报 2022年第6期36卷 1-19页

作者：崔磊徐毅恒吕腾超韦福如微软亚洲研究院自然语言计算组北京100080

文档智能是指通过计算机进行自动阅读、理解以及分析商业文档的过程,是自然语言处理和计算机视觉交叉领域的一个重要研究方向。近年来,深度学习技术的普及极大地推动了文档智能领域的发展,以文档版面分析、文档信息抽取、文档视觉问答... 详细信息

文档智能是指通过计算机进行自动阅读、理解以及分析商业文档的过程,是自然语言处理和计算机视觉交叉领域的一个重要研究方向。近年来,深度学习技术的普及极大地推动了文档智能领域的发展,以文档版面分析、文档信息抽取、文档视觉问答以及文档图像分类等为代表的文档智能任务均有显著的性能提升。该文对于早期基于启发式规则的文档分析技术、基于统计机器学习的算法以及近年来基于深度学习和预训练的方法进行简要介绍,并展望了文档智能技术的未来发展方向。

关键词：文档智能深度学习多模态自然语言处理

在线全文

学校读者我要写书评

暂无评论

视觉富文档理解预训练综述

计算机科学 2025年第1期52卷 259-276页

作者：张剑李晖张晟铭吴杰彭滢西安电子科技大学网络与信息安全学院西安710071 中电科网络安全科技股份有限公司成都610095

视觉富文档指语义结构不仅由文本内容决定,还与排版格式和表格结构等视觉元素相关的文档。现实生活中的票据理解和证件识别等应用场景,都需要对视觉富文档进行自动化的阅读、分析和处理。这一过程即为视觉富文档理解,属于自然语言处理... 详细信息

视觉富文档指语义结构不仅由文本内容决定,还与排版格式和表格结构等视觉元素相关的文档。现实生活中的票据理解和证件识别等应用场景,都需要对视觉富文档进行自动化的阅读、分析和处理。这一过程即为视觉富文档理解,属于自然语言处理和计算机视觉的交叉领域。近年来,视觉富文档理解领域的预训练技术在打破下游任务的训练壁垒和提升模型表现上取得了重大的进展。然而,目前对现有的预训练模型的归纳总结和深入分析仍然有所欠缺。为此,对视觉富文档理解领域预训练技术的相关研究进行了全面总结。首先,介绍了预训练技术的数据预处理阶段,包括预训练数据集和光学字符识别引擎。然后,对预训练技术的模型预训练阶段进行了阐述,提炼出单模态表示学习、多模态特征融合和预训练任务3个关键的技术模块,并基于上述模块归纳了预训练模型之间的共性和差异。此外,简要介绍了多模态大模型在视觉富文档理解领域的应用。接着,对预训练模型在下游任务上的表现进行了对比分析。最后,探讨了预训练技术面临的挑战和未来的研究方向。

关键词：文档智能预训练模型自然语言处理计算机视觉深度学习

在线全文

学校读者我要写书评

暂无评论

视觉富文档理解预训练综述

计算机科学 2024年

作者：张剑李晖张晟铭吴杰彭滢西安电子科技大学网络与信息安全学院中电科网络安全科技股份有限公司

视觉富文档是指语义结构不仅由文本内容决定，还与排版格式和表格结构等视觉元素相关的文档。现实生活中的票据理解和证件识别等应用场景，都需要对视觉富文档进行自动化地阅读、分析和处理。这一过程即为视觉富文档理解，属于自然语言... 详细信息

视觉富文档是指语义结构不仅由文本内容决定，还与排版格式和表格结构等视觉元素相关的文档。现实生活中的票据理解和证件识别等应用场景，都需要对视觉富文档进行自动化地阅读、分析和处理。这一过程即为视觉富文档理解，属于自然语言处理和计算机视觉的交叉领域。近年来，视觉富文档理解领域的预训练技术在打破下游任务的训练壁垒和提升模型表现上取得了重大的进展。然而，对于现有的预训练模型的归纳总结和深入分析仍然有所欠缺。为此，对视觉富文档理解领域预训练技术的相关研究进行了全面总结。首先介绍了预训练技术的数据预处理阶段，包括预训练数据集和光学字符识别引擎。然后，对预训练技术的模型预训练阶段进行了阐述，提炼出单模态表示学习、多模态特征融合和预训练任务三个关键的技术模块，并基于上述模块归纳了预训练模型之间的共性和差异。此外，简要介绍了多模态大模型在视觉富文档理解领域的应用。在这之后，对预训练模型在下游任务上的表现进行了对比分析。最后，探讨了预训练技术面临的挑战和未来的研究方向。

关键词：文档智能预训练模型自然语言处理计算机视觉深度学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

场景文字的视觉信息提取探索

场景文字的视觉信息提取探索

作者：匡剑锋华中科技大学

学位级别：硕士

在日常生活中随处可见大量的场景文字,场景文字中存在很多重要的视觉信息,这些信息对智慧办公、智慧教育等任务特别重要。因此,如何有效地从视觉丰富的自然场景图片中提取视觉信息已经受到了广泛的关注,成为近期计算机视觉领域广泛研究... 详细信息

在日常生活中随处可见大量的场景文字,场景文字中存在很多重要的视觉信息,这些信息对智慧办公、智慧教育等任务特别重要。因此,如何有效地从视觉丰富的自然场景图片中提取视觉信息已经受到了广泛的关注,成为近期计算机视觉领域广泛研究的问题。随着深度学习的不断发展,许多视觉信息提取方法陆续被提出,这些方法可以分为两阶段方法和端到端方法。目前,针对视觉信息提取的研究已经取得了较大的进展,但仍存在一些需要解决的问题,例如:1)自然场景下的视觉信息提取数据集缺乏。2)两阶段方法文本检测识别结果存在误差积累。3)端到端方法不同任务之间存在语义鸿沟。为了解决上述问题,本文开展了一系列研究工作,针对性地给出了解决方案并做了大量实验证明其有效性。具体内容包括:(1)针对自然场景下视觉信息提取数据集缺乏的问题,本文建立了一个大规模自然场景下的视觉信息提取数据集POIE,为面向场景文字的视觉信息提取研究奠定了基础。(2)针对两阶段方法中文本检测识别结果存在误差积累的问题,本文建立了一个基于端到端训练的视觉信息提取方法E2E-IE,联合训练文本检测识别和信息提取两个阶段,并通过共享网络层的设计对文本识别和信息提取两部分进行相互促进,使模型取得更好的结果。(3)针对端到端方法中不同任务之间存在语义鸿沟的问题,本文提出了一个基于对比学习的特征自适应模块(Contrast-guided Feature Adjustment Module,简称为CFAM)。该模块利用对比学习去引导文本实例特征和实体特征自适应地进行调整,建立文本检测识别和信息提取两个不同任务的联系,从而缓解这两个不同任务之间的语义鸿沟。

关键词：文档智能文档理解场景文字视觉信息提取

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自适应注意力机制的表格结构识别模型

化工自动化及仪表 2024年第3期51卷 449-455页

作者：郑剑锋张广涛刘英莉昆明理工大学信息工程与自动化学院云南计算机技术应用重点实验室

针对图像中表格结构识别问题,提出了基于自适应注意力机制的编码-解码架构,预测图像中表格的HTML标签。采用轻量化LCNet和CSP-PAN作为特征编码网络,获得全局图像特征;为解码器设计自适应注意力机制,在解码器的每个时间步骤添加语义特征... 详细信息

针对图像中表格结构识别问题,提出了基于自适应注意力机制的编码-解码架构,预测图像中表格的HTML标签。采用轻量化LCNet和CSP-PAN作为特征编码网络,获得全局图像特征;为解码器设计自适应注意力机制,在解码器的每个时间步骤添加语义特征,使模型自主选择关注图像信息或语义特征。另外,为提升研究效率,对训练图片数量与模型准确率之间的关系进行研究,结果表明合适的图像数量在70k~100k之间,实验从公开数据集PubTabNet中随机选择100k图片进行训练,模型的TEDS-Struct分数达到了95.1%。

关键词：表格结构识别注意力机制文档智能深度学习模式识别图像描述