检索结果-南通市图书馆

维普期刊数据库博看期刊

基于视觉自注意力模型的胸部X光片多疾病诊断研究与实现

在线全文

学校读者我要写书评

暂无评论

基于视觉自注意力模型的胸部X光片多疾病诊断研究与实现

作者：马颎吉林大学

学位级别：硕士

胸部X射线具有快捷、成本低等优势,是临床医学中胸部疾病最常见的检查方式之一。当前深度学习的广泛应用推动了计算机辅助诊断的快速发展。基于深度学习方法的胸部X光片疾病诊断技术作为一种高效的胸部疾病早期筛查手段具有广阔的前景,... 详细信息

胸部X射线具有快捷、成本低等优势,是临床医学中胸部疾病最常见的检查方式之一。当前深度学习的广泛应用推动了计算机辅助诊断的快速发展。基于深度学习方法的胸部X光片疾病诊断技术作为一种高效的胸部疾病早期筛查手段具有广阔的前景,可以辅助医生快速筛选出可疑疾病,缓解医生诊断压力,减少疾病的误诊和漏诊率。以往的胸部X光片疾病诊断工作大多基于卷积神经网络(CNN)实现对胸部疾病的识别与定位。近些年,由于自注意力模型(Transformer)架构在自然语言处理领域表现优异,许多学者尝试将其迁移至计算机视觉领域。与CNN相比,Transformer可以更高效地捕获序列之间的长期依赖,更充分地挖掘序列之间的相关性,且提取的特征包含更多的语义信息。利用Transformer架构的优势,本文以视觉自注意力模型为基础网络结构,围绕提高模型对病灶信息的关注程度和多元化信息融合诊断展开研究,有重点地设计了两个胸部疾病诊断模型,本文的主要研究工作如下:1.模型一主要针对胸部X光片部分疾病病灶区域小,难以识别以及数据不充分不平衡等问题。一方面基于滑动窗口方式对图像块进行分割,尽可能保证小病灶区域不被划分到多个图像块中,另一方面通过注意力区域选择模块筛选具有识别性的区域,调整模型对局部信息的关注方向,加大模型对于重点病灶区域的关注度。针对数据不平衡问题,本文在二分类交叉熵函数的基础上加入每种疾病对应的权重信息,降低健康样本在损失中所占权重,增强网络对于病变样本的学习能力。实验结果表明,本文模型在14种胸部常见疾病诊断的平均AUC值达到0.831,具有良好的胸部疾病诊断能力。2.模型二主要聚焦在通过多元信息融合提高模型诊断精度。为解决单一影像数据难以包含疾病诊断所需的全部有效信息的局限性问题,本文在胸部X光片图像数据的基础上,进一步引入患者元数据信息。通过两个特征提取网络分别将图像数据和患者信息映射为更高维度的特征向量,进行特征融合后送入分类器,实现对胸部疾病的诊断。此外,本文在保证同一患者的图像数据不同时存在于训练、验证、测试集的基础上,对ChestX-ray14数据集提出一种新的数据划分方式。通过新的数据集划分方式,本文将小部分冗余图像数据转化为患者过往病史信息,联合其它元数据信息共同训练,以使模型学习到多种胸部疾病之间的关联,进一步提高模型的诊断能力。实验表明,本文使用图像信息转化的元数据可以使模型有效地学习多种胸部疾病之间的关联性。同时本文构建的多元信息融合网络,能够有效融合多模态输入数据,具备图像-语义信息协同学习能力与扩展能力,随着多元化病例信息的不断收集和完善,将在临床应用中具有广阔的发展前景。

关键词：医学图像分类胸部X光片疾病诊断视觉自注意力模型元数据

融合多种参数高效微调技术的深度伪造检测方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学与探索 2024年

作者：张溢文蔡满春陈咏豪朱懿姚利峰中国人民公安大学信息网络安全学院

近年来，随着深度伪造技术趋于成熟，换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐，但同时也为不法分子提供了滥用的机会。因此，深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率... 详细信息

近年来，随着深度伪造技术趋于成熟，换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐，但同时也为不法分子提供了滥用的机会。因此，深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题，提出一种融合多种参数高效微调技术的深度伪造检测方法，使用以Masked Image Modeling(MIM)自监督方法预训练的视觉自注意力模型作为主干，首先使用克罗内克积改进的低秩微调方法对预训练模型的自注意力模块参数进行微调，同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习，以增强预训练模型在深度伪造检测任务中的适应能力，而后采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识，最后使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明，该模型在可训练参数仅有20M的情况下，在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中，帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中，帧水平AUC达到了平均0.765。

关键词：深度伪造视觉自注意力模型自监督预训练模型低秩微调参数高效微调

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于语义分割的视频鱼类特征提取方法研究

水生态学杂志 2024年第5期45卷 204-212页

作者：李潇洋陈健常剑波武汉大学电子信息学院湖北武汉430072 武汉大学水利水电学院湖北武汉430072

从视频图像中快速、准确提取水生生物(如鱼类)的特征信息,是信息科学与水生态研究结合的热点。基于Transformer的视觉模型,采用一种基于弱监督语义分割的视频鱼类特征提取方法,在无需预训练或微调的条件下,可以实现对鱼的身体、头部和鱼... 详细信息

从视频图像中快速、准确提取水生生物(如鱼类)的特征信息,是信息科学与水生态研究结合的热点。基于Transformer的视觉模型,采用一种基于弱监督语义分割的视频鱼类特征提取方法,在无需预训练或微调的条件下,可以实现对鱼的身体、头部和鱼鳍3类形态区域标签的分割提取。采用DeepFish分割数据集构建计算机视觉自注意力模型(vision transformer,ViT),通过对水下拍摄的鱼类视频进行实验,结果实现了鱼体形态主体特征的有效提取,对拟定的3类形态标签区域进行了良好的分割标记。研究方法具有较高的效率、分割准确度和标记区域的连续平滑性,可提供良好的语义特征,为人工智能技术在鱼类等水生生物监测实践中提供了一种低成本、高效率的新方法。

关键词：弱监督学习语义分割视觉自注意力模型鱼类特征提取

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于多尺度风格自适应的手写维文识别模型

计算机工程与设计 2024年第9期 2749-2756页

作者：闫林王磊艾孜麦提·艾尼瓦尔杨雅婷李晓中国科学院新疆理化技术研究所多语种信息技术研究室中国科学院大学计算机科学与技术学院中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室

基于字符形态与书写风格的强关联性，提出一种多尺度风格自适应的手写维文识别模型，模型从浅层笔划到深层序列建模多尺度风格特征，提高对手写风格的自适应能力。针对手写维文特点改进Transformer提取多尺度笔划特征；构建多尺度风格... 详细信息

基于字符形态与书写风格的强关联性，提出一种多尺度风格自适应的手写维文识别模型，模型从浅层笔划到深层序列建模多尺度风格特征，提高对手写风格的自适应能力。针对手写维文特点改进Transformer提取多尺度笔划特征；构建多尺度风格自适应模块提取序列特征；构建特征泛化融合模块对笔划特征和序列特征进行深度融合，提升识别效果。实验结果表明，该模型在真实手写维文测试集WER、CER分别下降3.75%、0.19%,在IAM数据集中验证了模型迁移性。

关键词：手写维文识别手写风格多尺度特征金字塔网络视觉自注意力模型长短期记忆网络特征融合

IEMAyoloViT：基于改进YOLOv8的水下目标检测算法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电讯技术 2024年

作者：施克权李祺隋皓朱宏娜西南交通大学物理科学与技术学院

水下目标检测技术广泛应用于海洋目标探察、海洋环境监测等领域。由于光学成像技术受到光线衰减、散射等因素影响，图像质量和目标分辨率较差，进而不利于开展水下目标检测任务。针对以上问题，提出了一种高效水下目标检测框架IEMAyolo... 详细信息

水下目标检测技术广泛应用于海洋目标探察、海洋环境监测等领域。由于光学成像技术受到光线衰减、散射等因素影响，图像质量和目标分辨率较差，进而不利于开展水下目标检测任务。针对以上问题，提出了一种高效水下目标检测框架IEMAyoloViT。该框架结合了改进Vision Transformer（ViT）主干的YOLOv8算法YOLOViT和一种融合多尺度高效空间注意力机制（Efficient Multi-Scale Attention，EMA）的C2f模块，以解决目标特征提取过程中注意力分散的问题。同时改进了Inner-CIoU损失函数，基于不同尺度的辅助边界加速边界框回归。实验结果表明，在全国水下机器人大赛（Underwater Robot Professional Contest，URPC）2021数据集中，本文设计的IEMAyoloViTmAP50高达83.2%，较YOLOv8高9.2%；mAP50:95也高于YOLOv81.0%，高精度检测结果证明了IEMAyoloViT的有效性和应用潜力。

关键词：深度学习水下目标检测视觉自注意力模型注意力机制

基于Vision Transformer的智能图像处理研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化应用 2024年第20期 138-140页

作者：刘红娇吉林师范大学博达学院数学学院

传统的图像处理模型依赖于手工设计的特征提取器，在处理全局上下文信息时存在困难，导致模型在理解图像整体语义时受限。因此，提出了一种基于视觉自注意力模型（ViT）的智能图像处理，并对其进行改进，通过引入多头自注意力机制和层... 详细信息

传统的图像处理模型依赖于手工设计的特征提取器，在处理全局上下文信息时存在困难，导致模型在理解图像整体语义时受限。因此，提出了一种基于视觉自注意力模型（ViT）的智能图像处理，并对其进行改进，通过引入多头自注意力机制和层级特征提取模块，提高模型的处理能力。结果表明，所提模型在训练集数量为1 200左右时的性能趋于稳定，且表现出较好的性能。其他算法在训练集数量为1 200时未处于最佳性能。当训练集达到2 000时，所提模型的结构相似度值为0.98。结果表明，所提模型在处理图像时表现出了较高的性能和处理效率，为图像处理领域的问题带来了新的解决方法。

关键词：视觉自注意力模型图像处理多头自注意力人工智能

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度学习的图像修复检测算法研究

基于深度学习的图像修复检测算法研究

作者：张竹溪杭州电子科技大学

学位级别：硕士

随着图像处理和机器视觉技术的兴起,互联网上涌现了大量操作简单的图像编辑软件,普通民众可以轻易修改、编辑图像并上传社交网络。然而,数字图像修复技术不仅可以用于修补破损图像,还可能被用在抹除特定人物、篡改图像语义等方面。如果... 详细信息

随着图像处理和机器视觉技术的兴起,互联网上涌现了大量操作简单的图像编辑软件,普通民众可以轻易修改、编辑图像并上传社交网络。然而,数字图像修复技术不仅可以用于修补破损图像,还可能被用在抹除特定人物、篡改图像语义等方面。如果修复篡改后的图像在互联网上肆意传播,将会对个人和社会造成严重的不良影响。因此,针对图像的深度修复取证研究对维护网络安全与社会稳定具有重要意义,成为了信息安全领域的前沿热点。目前图像的深度修复检测仍处于起步阶段,许多研究仅针对特定的修复手段设计相应检测算法,对于未知的修复方法存在检测精度差、缺乏泛化能力等问题。针对上述问题,本文提出了两个基于卷积神经网络图像修复检测算法,充分挖掘了图像内部修复区域的潜在特征,增强了模型对未知修复手段的检测性能。本文的具体工作如下:(1)本文提出一种针对数字图像的深度修复检测方法,采用基于卷积神经网络和视觉自注意力模型的编码器-解码器架构,能够在提取低分辨率特征的同时获得修复图像内部的远程依赖关系。特征增强模块使用三种不同的高通滤波器提取噪声残差,有效增强修复痕迹。解码器结合不同维度的残差特征对编码器输出的特征图上采样操作实施监督,指导模型对修复区域的准确定位。(2)为了提高对小面积或不规则形状的修复样本的检测能力,本文提出一种基于多级门控单元的图像修复检测算法。多级门控单元能够促使模型衡量每个编码器输出块的贡献,突出更具鉴别性的修复特征。该算法将编码器分支的输出与多级门控单元进行级联,在最小化干扰信息的同时为解码器分支提供丰富的上下文信息。此外,通过在训练时加入视觉上更难察觉的修复样本,有效提高了本文模型对困难样本的特征学习能力。本文模型在单一修复方法合成的数据集上进行训练,测试时分别在使用传统修复方法以及基于深度学习的修复方法合成的数据集上检测模型的性能,并且与多个现有方法进行比较。本文通过在测试集上开展的基准实验、泛化性实验和鲁棒性测试等实验,证明了所提出的两个修复检测模型在泛化性和鲁棒性上均优于对比方法。

关键词：图像修复检测深度学习视觉自注意力模型空洞卷积门控单元

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的高光谱图像分类研究

基于深度学习的高光谱图像分类研究

作者：杨晨贵州大学

学位级别：硕士

高光谱遥感技术通过将地物光谱曲线与地面空间影像相结合,实现对地物的准确识别和属性分析。光谱成像仪获取到的高光谱图像不仅包含反映地物物理特性的丰富光谱信息,而且还提供反映地物空间分布和纹理特征的丰富空间信息。基于这些优势... 详细信息

高光谱遥感技术通过将地物光谱曲线与地面空间影像相结合,实现对地物的准确识别和属性分析。光谱成像仪获取到的高光谱图像不仅包含反映地物物理特性的丰富光谱信息,而且还提供反映地物空间分布和纹理特征的丰富空间信息。基于这些优势,高光谱遥感在精准农业、作物监测、土地资源利用、城市规划等领域得到广泛应用。在环境保护方面,高光谱图像已被用于检测大气、漏油、水质和植被覆盖率变化。然而,高光谱遥感的光谱特征难以准确提取,且标签样本难以标记,因此,通过有效的特征提取方法和小样本计算以提高分类精度是目前高光谱图像分类任务的主攻点之一。近年来,深度学习方法在图像的特征提取上表现卓越,可以有效解决非线性问题,并广泛应用于许多图像处理任务中。基于深度学习在计算机视觉领域的优秀表现,其被引入高光谱图像分类领域并取得了巨大进展。本文基于三维卷积神经网络和Transformer模型,研究了如何有效地提取并融合空间和光谱特征信息、提高神经网络模型对高光谱图像的分类精度,主要研究内容如下:(1)将注意力机制引入卷积神经网络(CNN),提出了基于卷积注意力模块(CBAM)的多尺度特征三维卷积神经网络——MSCBAMNet。该网络先将三维图像块两次卷积成不同尺寸特征,再将卷积后特征依次通过CBAM模块,以此增强重要通道信息的权重,充分利用光谱信息和空间信息,然后将降维得到的二维特征进行融合,最终使网络获取到多层次的有效空谱特征,提高了分类精度。(2)由于卷积神经网络其注意力机制基于局部感受野,难以获取长序列的上下文信息交互,故提出了一种基于多尺度特征和移动窗口光谱自注意力机制的改进Swin Transformer模型MASwin Net,以解决高光谱图像分类任务中全局和局部信息获取的问题。在该模型中使用空间特征提取模块来获取空间信息,使用多尺度光谱融合残差模块和光谱Swin Transformer模块对光谱特征进行建模,最后使用全连接层输出分类结果,在小样本条件下有效增强了分类效果。本文在三个代表性的数据集Indian Pines,University of Pavia和Salinas上进行了实验,并利用总体分类精度、平均分类精度和Kappa系数定量评价分类结果。MSCBAMNet模型在三个数据集上的总体分类精度分别达到98.35%、98.97%、99.14%。MASwin Net模型在三个数据集上的总体分类精度分别达到98.92%、99.59%、99.50%。实验结果表明,本文改进后的两个模型在高光谱图像分类任务上取得了更高的精度,且MASwin Net由于结合了CNN和Transformer的优点,比MSCBAMNet分类效果更胜一筹,实验结果也显示所提出的两个模型对于小样本分类的适用性更强,证明了本文方法的有效性。

关键词：高光谱遥感图像分类卷积神经网络注意力机制视觉自注意力模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态学习的滑坡风险点检测及其评估

基于多模态学习的滑坡风险点检测及其评估

作者：时晓萌西安电子科技大学

学位级别：硕士

众所周知,滑坡、泥石流、地震等是最常见、威胁性最大的自然灾害。其中滑坡更是因为具有地域分布广泛,突发性强等特点,尤为危险,对我国人民的生命和财产安全造成了威胁。所以,如何实现对滑坡风险点的检测和评估是当前亟待解决的问题。... 详细信息

众所周知,滑坡、泥石流、地震等是最常见、威胁性最大的自然灾害。其中滑坡更是因为具有地域分布广泛,突发性强等特点,尤为危险,对我国人民的生命和财产安全造成了威胁。所以,如何实现对滑坡风险点的检测和评估是当前亟待解决的问题。不同于已经发生的滑坡,滑坡风险点的检测和风险评估属于复杂场景问题,其具有前景背景差异小、周边要素复杂等特点。近年来,诸多专家学者对滑坡的自动化检测进行了深入的研究,然而这些研究大部分针对单一模态的数据,对于与现实场景相关性更强的多模态数据的研究相对较少。本文将多模态学习应用到滑坡风险点的检测及风险评估中,通过提取多模态信息间的依赖关系,来增加滑坡风险点的特征信息。本文的主要工作包括:1.针对滑坡风险点数据前背景差异小和数字高程模型中的隐式特征难以提取的问题,提出了基于跨模态特征整合和决策融合的滑坡风险点检测方法。首先,通过对滑坡风险点的坡度信息进行提取,将坡度信息与滑坡的视觉特征进行了融合,增强了对滑坡风险点的表征能力。其次,在最终的决策层面,将从两种模态中获取的结果进一步进行融合,充分利用了滑坡的相关先验知识。对于提出的方法,在宁夏回族自治区的西吉县滑坡风险点数据集上进行了实验验证,结果表明所提出的方法在绝大多数情况下,相对于其他方法能够取得更高的分类精度。2.针对多模态特征利用中存在的低可用特征无效互换、高可用特征交互不足的问题,提出基于剪枝-软复合模块的多模态滑坡风险评估方法。首先,通过增加评分模块来评价各个模态信息的可用度,基于此对各个模态内部的低可用特征进行剪枝,以降低特征交互过程中低可用特征的参与度。其次,对每个模态的高可用特征,通过软复合模块进行进一步融合,缓解了高可用特征交互不足的问题,同时提高了特征的整体质量。最后,通过滑坡风险点的语义分割结果,利用面积体积映射,结合滑坡的等级划分标准实现滑坡的风险等级评估。对于提出的方法,分别在毕节滑坡数据集和西吉滑坡风险点数据集进行了滑坡的语义分割实验和滑坡的风险评估实验,结果表明本方法相对于其他方法能有效实现滑坡的精准分割和风险评估。3.针对当前滑坡风险评估的显式可用特征少、隐式可用特征学习难度大的问题,提出了基于坡体特征和重点目标分析的滑坡风险评估。首先,通过集成滑坡风险点的语义分割、滑坡风险点附近的居民点分布、滑坡风险点附近的道路分布等信息,丰富了滑坡风险评估的显式可用特征。然后,通过先验知识提取数字高程模型对应的坡度图及其特征序列、坡向图及其特征序列,以预处理的形式进行了隐式特征的提取,降低了隐式可用特征的学习难度。对于提出的方法,在西吉滑坡风险点数据集上进行了实验,结果表明,相对于上一个工作点,本方法能够更精确地反映滑坡风险点的风险性。

关键词：深度学习多模态学习视觉自注意力模型滑坡风险评估滑坡语义分割