检索结果-南通市图书馆

视觉transformer研究的关键问题:现状及展望

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化学报 2022年第4期48卷 957-979页

作者：田永林王雨桐王建功王晓王飞跃中国科学技术大学自动化系合肥230027 中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190 青岛智能产业技术研究院青岛266000

transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉transformer的基本原理和结构,并分析了transformer与卷积神经网络在连接范... 详细信息

transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉transformer的基本原理和结构,并分析了transformer与卷积神经网络在连接范围、权重动态性和位置表示能力三方面的区别与联系;同时围绕计算代价、性能提升、训练优化以及结构设计四个方面总结了视觉transformer研究中的关键问题以及研究进展;并提出了视觉transformer的一般性框架;然后针对检测和分割两个领域,介绍了视觉transformer在特征学习、结果产生和真值分配等方面给上层视觉模型设计带来的启发和改变;并对视觉transformer未来发展方向进行了展望.

关键词：视觉transformer 图像分类目标检测图像分割计算机视觉

维普期刊数据库博看期刊

视觉transformer在医学图像分析中的应用研究综述

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2023年第8期59卷 41-55页

作者：石磊籍庆余陈清威赵恒毅张俊星内蒙古大学计算机学院呼和浩特010021 内蒙古科技大学包头医学院计算机科学与技术学院内蒙古包头014040 包头医学院第二附属医院内蒙古包头014040

深度自注意力网络(transformer)对输入信息全局特征和长距离相关性具有天然良好的建模能力,其与卷积神经网络(CNN)的归纳偏置特性具有较强互补性。受其在自然语言处理领域取得巨大成功的启发,transformer已被广泛引入到计算机视觉各项... 详细信息

深度自注意力网络(transformer)对输入信息全局特征和长距离相关性具有天然良好的建模能力,其与卷积神经网络(CNN)的归纳偏置特性具有较强互补性。受其在自然语言处理领域取得巨大成功的启发,transformer已被广泛引入到计算机视觉各项任务特别是医学图像分析领域并已取得了不俗表现。对transformer与自然图像结合的典型工作进行介绍,根据视觉transformer在医学图像分割、医学图像分类以及医学图像配准等子领域对相关工作按照不同病灶及部位进行了整理和归纳,重点对一些代表性研究工作的实现思想进行了详细分析。对现有研究工作进行了讨论并对未来方向进行了展望,以期为该领域的进一步深入研究提供参考。

关键词：视觉transformer 医学图像分割医学图像分类医学图像配准

同方期刊数据库

视觉transformer下语义融合和信息恢复的混凝土桥梁表观病害识别方法研究

在线全文

学校读者我要写书评

暂无评论

视觉Transformer下语义融合和信息恢复的混凝土桥梁表观病害识别...

作者：唐椿程重庆交通大学

学位级别：硕士

混凝土桥梁作为交通基础设施的重要组成部分,在长期服役过程中常受到如车辆超载,极端天气和结构老化等多重因素的影响,导致其出现剥落、露筋和水侵蚀等多种表观病害。病害的出现不仅影响桥梁美观和使用寿命,更可能引发塌桥等重大安全事... 详细信息

混凝土桥梁作为交通基础设施的重要组成部分,在长期服役过程中常受到如车辆超载,极端天气和结构老化等多重因素的影响,导致其出现剥落、露筋和水侵蚀等多种表观病害。病害的出现不仅影响桥梁美观和使用寿命,更可能引发塌桥等重大安全事故的发生。因此,对混凝土桥梁实施定期的检测与健康状态评估显得尤为关键,这有助于桥梁管养部门及时发现潜在的安全隐患。基于语义分割的混凝土桥梁表观病害识别方法作为混凝土桥梁检测的重要组成部分,其能够获取病害类别、位置和像素占比等信息。现有方法通过无人机等智能检测设备获取桥梁图片,并结合语义分割算法,精确地定位病害位置并计算出病害区域的像素占比,从而得到病害的位置信息和严重程度等定量参数。该方法所获取的定量参数对于评估桥梁安全状况、制定维修计划以及预测使用寿命具有重要意义。然而,现有基于语义分割的表观病害识别方法存在病害识别精度低和对多尺度病害识别效果不佳等问题。针对上述问题,本文提出了视觉transformer下语义融合和信息恢复的混凝土桥梁表观病害识别方法,实现对桥梁病害准确识别,其主要研究内容及结论如下:(1)混凝土桥梁多类别表观病害语义分割数据集构建。鉴于当前公开领域尚未存在专用于混凝土桥梁多种类型表观病害识别的语义分割数据集,因此本文按照《公路桥涵养护规范》(JTG 5120—2021)标准严格筛选出图像分辨率高且病害区域清晰的桥梁表观病害图片1348张。本文根据剥落、水侵蚀和露筋等常见混凝土桥梁表观病害的视觉特征制定其相应标注策略,并利用语义分割图像标注工具对桥梁图像中的病害区域及其所属类别进行精细标注。此外,为了丰富数据集的多样性,本文使用旋转、翻转和裁剪等数据增强操作,模拟真实场景中可能出现的各种视觉角度变化,最终构建了一个含有2712张图片的混凝土桥梁多类别表观病害语义分割数据集。(2)基于语义融合SegFormer的混凝土桥梁表观病害识别方法。针对现有识别方法容易受到图像中植物和光线等因素的干扰导致病害识别精度低的问题,本文提出基于语义融合SegFormer的混凝土桥梁表观病害识别方法——SegFormerSP。该算法在SegFormer B0的基础上引入语义融合模块和极化自注意力机制。其中,语义融合模块将高级特征中的语义信息融入进低级特征中,使得低级特征中含有较多的高级语义信息,在解码阶段低级特征拥有足够的语义信息则能与高级特征中的语义信息进行对齐,从而减少背景干扰对病害识别任务的影响。同时,极化自注意力机制能够精准捕获桥梁图片的空间相关性和通道相关性,确保特征信息能被充分利用。实验数据表明,相较于SegFormer B0,SegFormer-SP的平均交并比和平均F1分数分别实现了2.41%和1.91%的提升。此外,SegFormer-SP在识别精度上表现优异,优于大部分主流语义分割算法。(3)基于上下文信息恢复的混凝土桥梁表观病害识别方法。由于当前方法在分割过程中无法为病害识别提供足够的全局上下文信息,导致算法对多尺度病害识别效果不佳。因此,针对上述问题,本文提出基于上下文信息恢复的混凝土桥梁表观病害识别方法——TSCB-Net。TSCB-Net采用U型编码器-解码器结构,该结构使得算法能够保留更多的病害形状、边界等细节信息,从而提高对多尺度病害定位和识别的准确性。同时,TSCB-Net利用PVT v2中的自注意力机制实现长距离建模,进而提升病害识别精度。此外,TSCB-Net在解码器部分引入了上下文信息恢复模块,该模块通过并联不同数量卷积核,有效地恢复上下文信息并扩大算法感受野,从而提升算法对多尺度病害的识别精度。实验结果表明,TSCB-Net能够对多尺度病害进行准确识别,且评价指标和参数量均领先于当前主流语义分割算法。

关键词：桥梁工程桥梁病害识别视觉transformer 语义融合信息恢复

基于级联视觉transformer与多尺度特征融合的燃烧场温度层析成像

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子与信息学报 2023年第10期45卷 3511-3519页

作者：司菁菁王晓莉程银波刘畅燕山大学信息科学与工程学院秦皇岛066004 河北农业大学海洋学院秦皇岛066003 爱丁堡大学工程学院爱丁堡EH93JL 河北省信息传输与信号处理重点实验室秦皇岛066004

可调谐二极管激光吸收光谱层析成像(TDLAT)是一种重要的光学非侵入式燃烧诊断技术,可实现燃烧场2维横截面气体温度和浓度等流场参数分布的重建。该文将视觉transformer(ViT)与多尺度特征融合引入TDLAT领域,研究有限数量测量数据与整个... 详细信息

可调谐二极管激光吸收光谱层析成像(TDLAT)是一种重要的光学非侵入式燃烧诊断技术,可实现燃烧场2维横截面气体温度和浓度等流场参数分布的重建。该文将视觉transformer(ViT)与多尺度特征融合引入TDLAT领域,研究有限数量测量数据与整个测量空间温度分布的非线性映射,提出基于级联ViT与多尺度特征融合的燃烧场温度层析成像网络(HVTMFnet)。该网络提取并融合TDLAT测量数据的局部-全局相关特征,实现整个测量空间的层次化温度分布重建。仿真实验与实际TDLAT系统实验均表明,HVTMFnet重建图像的质量优于现有的基于卷积神经网络(CNN)和基于残差网络的温度层析成像方案。与基于CNN的温度层析成像方案相比,HVTMFnet的重建误差能够降低49.2%~72.1%。

关键词：可调谐二极管激光吸收光谱层析成像温度重建视觉transformer

同方期刊数据库

基于多尺度视觉transformer的图像篡改定位

在线全文

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2022年第6期50卷 10-18页

作者：陆璐钟文煜吴小坤华南理工大学计算机科学与工程学院广东广州510640

随着数字图像处理技术的不断发展,图像篡改不再局限于图像拼接等单一手段,而是通过图像编辑软件后处理隐藏恶意篡改痕迹,导致现有传统算法和基于深度学习的定位方法效果不佳。针对现有图像篡改算法定位精度不高的问题,文中提出了一种端... 详细信息

随着数字图像处理技术的不断发展,图像篡改不再局限于图像拼接等单一手段,而是通过图像编辑软件后处理隐藏恶意篡改痕迹,导致现有传统算法和基于深度学习的定位方法效果不佳。针对现有图像篡改算法定位精度不高的问题,文中提出了一种端到端基于多尺度视觉transformer的图像篡改定位网络,该网络通过融合transformer和卷积编码器来提取篡改区域与非篡改区域的特征差异,而多尺度视觉transformer对不同尺寸图像块序列的空间信息进行建模,使得网络能适应各种形状大小的篡改区域。实验结果表明:所提出的算法在CASIA和NIST2016测试集上的F_(1)分数分别为0.431和0.877,AUC值分别为0.728和0.971,相比当前的主流算法具有较为明显的性能提升;所提算法对JPEG压缩攻击具有较强的鲁棒性。

关键词：深度学习视觉transformer 图像篡改纵横注意力

基于深度卷积-Tokens降维优化视觉transformer的分心驾驶行为实时检测

在线全文

学校读者我要写书评

暂无评论

汽车工程 2023年第6期45卷 974-988,1009页

作者：赵霞李朝付锐葛振振王畅长安大学汽车学院西安710064

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题,本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心... 详细信息

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题,本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测,并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%,模型参数量为21.22 M,基于真实车辆平台在线推理速度为23.32 fps,表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。

关键词：汽车工程分心驾驶行为检测模型视觉transformer 多头注意力机制卷积神经网络 Tokens降维

预训练驱动的多模态边界感知视觉transformer

在线全文

学校读者我要写书评

暂无评论

软件学报 2023年第5期34卷 2051-2067页

作者：石泽男陈海鹏张冬申铉京吉林大学计算机科学与技术学院吉林长春130012 符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春130012 香港科技大学计算机科学与工程系中国香港999077

卷积神经网络(convolutional neural network,CNN)在图像篡改检测任务中不断取得性能突破,但在面向真实场景下篡改手段未知的情况时,现有方法仍然无法有效地捕获输入图像的长远依赖关系以缓解识别偏差问题,从而影响检测精度.此外,由于... 详细信息

卷积神经网络(convolutional neural network,CNN)在图像篡改检测任务中不断取得性能突破,但在面向真实场景下篡改手段未知的情况时,现有方法仍然无法有效地捕获输入图像的长远依赖关系以缓解识别偏差问题,从而影响检测精度.此外,由于标注困难,图像篡改检测任务通常缺乏精准的像素级图像标注信息.针对以上问题,提出一种预训练驱动的多模态边界感知视觉transformer.首先,为捕获在RGB域中不可见的细微伪造痕迹,引入图像的频域模态并将其与RGB空间域结合作为多模态嵌入形式.其次利用ImageNet对主干网络的编码器进行训练以缓解当前训练样本不足的问题.然后,transformer模块被整合到该编码器的尾部,以达到同时捕获低级空间细节信息和全局上下文的目的,从而提升模型的整体表征能力.最后,为有效地缓解因伪造区域边界模糊导致的定位难问题,构建边界感知模块,其可以通过Scharr卷积层获得的噪声分布以更多地关注噪声信息而不是语义内容,并利用边界残差块锐化边界信息,从而提升模型的边界分割性能.大量实验结果表明,所提方法在识别精度上优于现有的图像篡改检测方法,并对不同的篡改手段具有较好的泛化性和鲁棒性.

关键词：模型预训练多模态视觉transformer 边界感知图像篡改检测

基于视觉transformer内在归纳优化的齐白石虾画真假鉴定

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2023年第11期35卷 1654-1663页

作者：吴惠思陈文杰黄晓婷刘雪婷齐驸深圳大学计算机与软件学院深圳518060

当前书画艺术品市场赝品众多,给书画艺术品收藏者带来了极大的经济风险,并且严重扰乱书画艺术市场秩序.针对书画艺术品真假鉴别的数据集一般较小的特点,提出数据高效的齐白石虾画自动真假鉴别算法.以视觉transformer为基础架构,改进视觉... 详细信息

当前书画艺术品市场赝品众多,给书画艺术品收藏者带来了极大的经济风险,并且严重扰乱书画艺术市场秩序.针对书画艺术品真假鉴别的数据集一般较小的特点,提出数据高效的齐白石虾画自动真假鉴别算法.以视觉transformer为基础架构,改进视觉transformer的标记位置编码方式;以跨架构表征知识蒸馏对模型进行训练,改善视觉transformer的内在归纳特性,减少模型对训练数据的过度依赖,有效地解决齐白石虾画真假鉴别数据集较小的问题.分别在有429幅画的齐白石虾画真假鉴别数据集、有96013幅画的WikiArt数据集和有42479幅画的ArtDL数据集上进行实验的结果表明,所提算法能够有效地应对齐白石虾画真假鉴别任务中数据集小的挑战,并在该任务中的分类性能优于其他方法.

关键词：齐白石虾画书画分类视觉transformer 归纳偏好

在线全文

学校读者我要写书评

暂无评论

基于循环结构的视觉transformer

吉林大学学报（工学版） 2024年第7期54卷 2049-2056页

作者：蒋磊王子其崔振宇常志勇时小虎莫斯科国立大学数学力学系莫斯科119991 莫斯科国立大学计算数学与控制理论系莫斯科119991 吉林大学生物与农业工程学院长春130022 吉林大学工程仿生教育部重点实验室长春130022 吉林大学计算机科学与技术学院长春130012 吉林大学符号计算与知识工程教育部重点实验室长春130012

针对视觉transformer(Vision transformer,ViT)性能的提升依赖于网络的参数量,从而导致其应用场景受限的缺点,本文从神经学得到启发,创新性地提出将人脑神经元之间的循环结构应用在ViT上。文中首次从黎曼几何的角度解释了循环结构生效... 详细信息

针对视觉transformer(Vision transformer,ViT)性能的提升依赖于网络的参数量,从而导致其应用场景受限的缺点,本文从神经学得到启发,创新性地提出将人脑神经元之间的循环结构应用在ViT上。文中首次从黎曼几何的角度解释了循环结构生效的工作原理,之后以Token-to-Token transformer(T2T transformer)为主干框架提出了基于循环结构的ViT。实验结果表明:循环结构的引入能在视觉transformer参数量基本不变化的情况下大幅提高其性能,使用循环结构后,在Imagenet分类数据集下网络仅增加0.14%的参数,但带来9%的分类精度提升;在目标检测任务中,增加0.1%的参数带来10.7%的性能提升。

关键词：视觉transformer 循环结构黎曼几何