检索结果-南通市图书馆

结合注意力机制的双流卷积自编码高光谱解混方法

在线全文

学校读者我要写书评

暂无评论

激光与光电子学进展 2024年第4期61卷 417-425页

作者：苏晓通郭宝峰尤靖云吴文豪许张弛杭州电子科技大学自动化学院浙江杭州310018

针对基于卷积自编码进行空-谱联合的高光谱解混方法中,过度引入像元光谱之间的空间相关性导致丰度过于平滑的现象,提出一种结合注意力机制的双流卷积自编码高光谱解混方法(DSCU-Net)。首先,利用双流卷积网络分别提取高光谱图像的空间特... 详细信息

针对基于卷积自编码进行空-谱联合的高光谱解混方法中,过度引入像元光谱之间的空间相关性导致丰度过于平滑的现象,提出一种结合注意力机制的双流卷积自编码高光谱解混方法(DSCU-Net)。首先,利用双流卷积网络分别提取高光谱图像的空间特征和光谱特征;其次,为了确保空间特征和光谱特征之间的平衡性,引入通道注意力机制对提取到的空间特征进行重加权,并对光谱特征和重加权后的空间特征进行融合;最后,使用融合后的特征进行高光谱图像重构,并将重构结果送入解混网络的主干网络中进行光谱解混。通过最小化两次重构误差进行解混网络的训练。为了验证所提方法的性能,在两个真实数据集上进行实验,并对复杂场景下算法的性能表现进行分析。结果表明,DSCU-Net能够有效减少过度引入空间相关性造成丰度过于平滑的现象,具有更好的解混性能。

关键词：遥感高光谱解混卷积自编码器通道注意力机制双流结构

基于双流自适应时空增强图卷积网络的手语识别

在线全文

学校读者我要写书评

暂无评论

应用科学学报 2024年第2期42卷 189-199页

作者：金彦亮吴筱溦上海大学通信与信息工程学院上海200444 上海大学上海先进通信与数据科学研究院上海200444

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使... 详细信息

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

关键词：骨架数据双流结构自适应时空图卷积模块自适应多尺度时空注意力模块特征融合

基于Swin Transformer的双流遥感图像时空融合超分辨率重建

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年第9期50卷 33-45页

作者：王志浩钱沄涛浙江大学工程师学院浙江杭州310015 浙江大学计算机科学与技术学院浙江杭州310027

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者... 详细信息

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者们提出了一系列基于CNN的时空融合方法,然而由于卷积的局限性,这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发,提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段,引入双流结构,将特征提取网络分为两个部分,分别提取时间信息与空间信息,并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段,引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM),用于增强重要特征,提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验,结果表明该模型在各项评价指标上均取得了最优的结果,具有更出色的性能和更强的泛化能力。

关键词：时空融合超分辨率重建 Swin Transformer算法双流结构卷积神经网络

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于文本特征融合的双流生成对抗修复网络

四川轻化工大学学报（自然科学版） 2024年第4期37卷 36-46页

作者：刘婷婷陈明举李兰四川轻化工大学自动化与信息工程学院四川宜宾644000 人工智能四川省重点实验室四川宜宾644000

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络... 详细信息

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络采用融入注意力机制的U-Net作为主干网络,充分提取图像结构和纹理特征。采用上下文本特征融合网络充分挖掘图像高级语义及特征信息的上下文关系,实现空洞区域的结构及纹理特征的填充与精细修复。采用结构与纹理双流鉴别器来估计纹理和结构的特征并统计信息来区分真实图像和生成图像。采用基于语义的联合损失函数以增强修复图像在语义上的真实性。将本文算法与对比算法中表现最好的CTSDG算法在CelebA和Places2数据集上进行对比,其中PSNR与SSIM值在CelebA上分别提升2.74 dB和5.80%,FID下降4.02;PSNR与SSIM值在Place2上分别提升4.15 dB和3.33%,FID下降2.33。因此,改进的图像修复方法的客观评价指标更优,能够更加有效地修复破损图像的结构和纹理信息,使得图像修复的性能更佳。

关键词：注意力机制双流结构生成对抗网络双流鉴别器联合损失函数

维普期刊数据库博看期刊

基于时序迁移与双流加权的ONLSTM软测量建模

在线全文

学校读者我要写书评

暂无评论

化工学报 2023年第11期74卷 4622-4633页

作者：李祥宇隋璘马君霞熊伟丽江南大学物联网工程学院江苏无锡214122 江南大学轻工过程先进控制教育部重点实验室江苏无锡214122

实际化工过程建模具有多变量、非线性和动态性等特点,会导致模型复杂度提高且提取特征时产生冗余信息和时序分布漂移问题,因此提出一种基于时序迁移和双流加权的有序神经元长短时记忆网络(ONLSTM)模型。首先,利用时序迁移对特征分布进... 详细信息

实际化工过程建模具有多变量、非线性和动态性等特点,会导致模型复杂度提高且提取特征时产生冗余信息和时序分布漂移问题,因此提出一种基于时序迁移和双流加权的有序神经元长短时记忆网络(ONLSTM)模型。首先,利用时序迁移对特征分布进行匹配以自适应表征特征分布信息,采用划分特征分布差异最大时间域进行训练,减小时序分布失配,从而解决时序分布漂移问题;其次,在时序迁移框架内嵌入双流加权ONLSTM模型,通过对ONLSTM主遗忘门和主输入门分别加权,更精确控制传递信息;进一步结合双流结构设计双信息流控制相应门控单元,减小参数调节过程中的耦合影响,降低模型复杂度,提高其预测性能;最后,将所提模型应用于硫回收过程以及某火电厂脱硫过程排放烟气SO_(2)浓度软测量建模,并与其他深度学习网络进行对比,验证了模型有效性。

关键词：时间序列迁移加权有序神经元长短时记忆网络双流结构软测量神经网络过程控制动态建模

基于BIFPN-GAN特征融合的图像修复算法研究

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

无线电工程 2022年第12期52卷 2141-2148页

作者：李兰陈明举石浩德刘婷婷邓元实四川轻化工大学人工智能四川省重点实验室四川宜宾643000 国网四川省电力公司电力科学研究院四川成都610072

为了使图像修复方法在结构重建的过程中实现结构与纹理信息之间的交互,提高修复的图像在语义上的真实性。在原有的双流生成网络基础上改进了一种基于BIFPN多尺度特征融合算法的双流结构图像修复网络。该网络采用耦合方式实现结构约束下... 详细信息

为了使图像修复方法在结构重建的过程中实现结构与纹理信息之间的交互,提高修复的图像在语义上的真实性。在原有的双流生成网络基础上改进了一种基于BIFPN多尺度特征融合算法的双流结构图像修复网络。该网络采用耦合方式实现结构约束下的纹理合成与纹理引导下的结构重建,实现纹理与结构信息的有效利用,有利于生成语义更真实的图像。构建BIFPN多尺度特征融合网络,以实现重建、感知与风格损失的补偿,使融合后的图像实现全局的一致性。在训练阶段,采用了基于语义的联合损失函数,以增强图像在结构生成上的合理性。通过在CelebA和Places2数据集上与其他修复网络进行对比实验,证明了改进的图像修复方法的客观评价指标更优,更加有效地修复破损图像的结构和纹理信息,图像修复性能更优。

关键词：图像修复双流结构 BIFPN多尺度特征融合生成对抗网络

基于小样本和零样本学习的动作识别研究与实现

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于小样本和零样本学习的动作识别研究与实现

作者：段佳佳河南大学

学位级别：硕士

目前人体动作识别研究已经取得了显著成果,并且广泛应用于各行各业,如视频监控、自动驾驶等。其中基于深度学习的人体动作识别发展迅速,在标记数据充足的情况下,有监督学习方法可以取得令人满意的识别表现。然而,运动种类的多样化以及... 详细信息

目前人体动作识别研究已经取得了显著成果,并且广泛应用于各行各业,如视频监控、自动驾驶等。其中基于深度学习的人体动作识别发展迅速,在标记数据充足的情况下,有监督学习方法可以取得令人满意的识别表现。然而,运动种类的多样化以及视频背景的复杂化使得人体运动视频的标注需要耗费大量的人工成本,这严重制约了有监督人体动作识别方法在实际场景中的应用。由于小样本学习和零样本学习方法能够在不依赖大量标记数据的情况下实现对未见动作类别的识别,近年来,基于小样本和零样本学习的动作识别方法获得了研究人员极大的关注。本文分别对小样本动作识别和零样本动作识别进行了研究和实现。（1）小样本动作识别研究。小样本动作识别的研究重点在于学习不同种类的动作之间的相关性。本文针对传统的基于RGB的时空特征（如C3D）易受复杂背景信息干扰而降低判别性的缺点,提出了一种基于双流架构的小样本动作识别模型DFSAR。该模型通过引入光流特征有效降低了复杂背景信息对特征判别性的影响。主要工作和创新点如下:将光流特征引入小样本人体动作识别,通过融合光流特征与基于RGB的时空特征以有效捕捉不同种类运动之间的相关性;提出了一种新的可进行端到端训练的双流结构（C3D+TSN）用于实现小样本动作识别;在HMDB51和UCF101数据集上的大量实验表明,该模型在小样本动作识别方面和现有方法相比有一定提高。（2）零样本动作识别研究。零样本动作识别的研究重点在于如何学习动作与其标签之间的相关性,主流方法是基于有标签数据建立视觉-语义的联合嵌入空间并将其用于不可见类动作的识别。然而,大多数的零样本动作识别方法直接基于预训练的时空特征提取模型建立视觉空间,使得视频序列中反映动作-标签相关性的显著性因素被淹没。对此,本文提出了一种基于注意力机制的零样本动作识别模型ADZSAR。主要工作和创新点如下:提出了一种新型基于注意力机制的特征提取方法,可针对不同种类的动作自适应提取特征中的显著性信息,以构建一个非冗余的视觉空间;引入当前最先进的语义嵌入模型（Word2Vec）以有效提取类标签的语义嵌入信息;在数据集HMDB51和UCF101上的实验表明,该方法在同类基于时空特征的零样本动作识别方法中表现最佳。（3）根据上述研究成果,本文设计并实现了一个小样本和零样本动作识别系统。该系统使用Pytorch深度学习框架搭建,通过将预训练模型部署在服务器上,实现了小样本和零样本动作识别。系统主要包括数据预处理模块、模型处理模块以及结果展示模块。该系统运行稳定、分类效果较好,证明了本文提出的小样本和零样本动作识别模型在实际场景中的实用性。

关键词：小样本学习零样本学习双流结构联合嵌入空间注意力机制语义嵌入

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视频中人体行为识别

基于深度学习的视频中人体行为识别

作者：畅威海南大学

学位级别：硕士

在计算机视觉领域中,行为识别方向是其中一个非常重要的研究分支,随着计算机软硬件性能的不断提升,使得现在卷积神经网络的深度和复杂度与之前的网络相比有了大幅度的提升。这就催生了行为识别技术的飞速发展,准确率也得到了显著的提高... 详细信息

在计算机视觉领域中,行为识别方向是其中一个非常重要的研究分支,随着计算机软硬件性能的不断提升,使得现在卷积神经网络的深度和复杂度与之前的网络相比有了大幅度的提升。这就催生了行为识别技术的飞速发展,准确率也得到了显著的提高。在视频监控、智能家居以及城市安防等众多应用场景下,视频中行为识别方法都发挥着至关重要的作用。视频中行为识别的正确率依然受到许多因素的影响,例如:不同的光照条件、不同的视角、十分复杂的背景以及单一种类内变化较大等因素。一般认为,光流信息代表的是没有背景信息的运动信息。因此,它可以当作图像的补充信息,提高双流网络模型的实际表现。但是计算光流信息的成本很高。通常一帧前后的10帧用于提取光流信息,对于不同的动作来说,这样可能太长或太短,无法捕捉到有用的运动特征。此外,光流信息提取到的运动特征属于有噪声的低维数据,目前还不清楚光流信息真正能为动作识别提供哪些作用。为了解决这些问题,本文提出了一种新的基于高层次运动特征（人体姿态估计）的双流网络框架,用人体姿态估计来代替传统双流网络中的光流特征来实现识别动作。我们观察到许多动作都有特定的姿势特征。因此,我们的双流框架使用二维人体姿势估计作为运动特征,这样既可以去除多余的背景信息,又可以突出对人体运动姿态的描述。只用与图像帧相对应的人体姿态估计图,这样可以有效地减少了计算量。此外,为了有效融合双流框架中的特征,我们在融合层加入了注意机制,不仅突出了图片帧局部的特征,而且使得网络能够在原始图像帧和姿态估计图之间给予明显的注意力。我们在HMDB-51和UCF-101这两个具有挑战性的人体动作数据集上进行了广泛的研究实验。实验结果表明,该模型在准确率上有着良好的表现,特别是在视频中的运动场景中能够很好的实现人体的动作分类。文章在最后还介绍了基于本次实验方法的行为识别系统,为的是让研究理论能够更好的在的生活场景中有实际的应用。为了让系统能够在多个平台上使用,我们将训练好的模型保存下来部署在微信小程序平台上,并利用目前流行的前后端技术在该平台上整合此系统。

关键词：卷积神经网络双流结构密集连接网络人体姿态估计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

轨道交通驾驶员行为分析系统的设计与实现

轨道交通驾驶员行为分析系统的设计与实现

作者：高洪伟沈阳航空航天大学

学位级别：硕士

有效监督轨道交通驾驶员行为对于轨道交通系统的科学管理具有重要的意义,基于视频的轨道交通驾驶员行为分析系统对于替代人工分析轨道交通驾驶员的行为具有重要作用。本文研究了基于视频的行为识别方法,并分析了轨道交通驾驶员行为的特... 详细信息

有效监督轨道交通驾驶员行为对于轨道交通系统的科学管理具有重要的意义,基于视频的轨道交通驾驶员行为分析系统对于替代人工分析轨道交通驾驶员的行为具有重要作用。本文研究了基于视频的行为识别方法,并分析了轨道交通驾驶员行为的特点,主要工作内容如下。设计并实现了轨道交通驾驶员行为分析系统,包括视频分析一体机服务、业务平台和研判平台。针对轨道交通驾驶员行为的特点,构建了轨道交通驾驶员行为数据集RDT,并采用ST-GCN方法进行了数据分析。针对图卷积网络为所有关节点共享权值而导致的特征表示不准确的问题,本文提出人体骨架图形注意力卷积网络的行为识别方法HSGAC。利用关节点之间的特征关系为每个关节点分配不同的权值,从而表达一个行为中不同关节点的作用。针对时空卷积网络中无法表达运动信息的问题,本文提出基于双流图形注意力卷积网络的行为识别方法Two-stream GAC。在原始网络结构中增加了运动姿态特征表示轨道交通驾驶员的运动信息,双流网络分别建模作为行为识别网络的输入,最后通过加权融合的方法实现轨道交通驾驶员行为分类。轨道交通驾驶员行为分析系统对分析轨道交通驾驶员的行为获得了良好的结果,RDT数据集基本满足了轨道交通驾驶员的行为分析问题,图形注意力卷积机制和基于双流结构的多任务学习方法提升了行为识别的性能。

关键词：轨道交通驾驶员视频行为识别图形注意力双流结构多任务学习