检索结果-南通市图书馆

基于多模态空间特征融合的图像超分辨率重建及应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态空间特征融合的图像超分辨率重建及应用

作者：程什彭延安大学

学位级别：硕士

高分辨率遥感图像在多个领域具有重要意义。随着信号传输方向和传输带宽受多种因素影响,图像成像传感器不断升级与迭代。为解决遥感设备获取的低分辨率图像问题,将硬件水平结合图像超分辨率重建任务,以解决传感器成本高和成像技术不足... 详细信息

高分辨率遥感图像在多个领域具有重要意义。随着信号传输方向和传输带宽受多种因素影响,图像成像传感器不断升级与迭代。为解决遥感设备获取的低分辨率图像问题,将硬件水平结合图像超分辨率重建任务,以解决传感器成本高和成像技术不足导致的图像质量问题。深度学习领域的进步推动了基于深度学习方法的图像超分辨率重建任务的广泛研究。这些方法利用先验知识对模糊和低分辨率图像进行重建,从而实现高清晰度图像的生成。图像超分辨率重建不仅能提高图像清晰度,还能保持硬件性能,提升视觉效果。技术手段在图像超分辨率重建中的应用有助于降低整体硬件成本,同时确保产品质量。基于深度学习的方法对数据结构具有较强依赖性,因此需要合理划分训练集和验证集。然而,图像超分辨率重建任务对高分辨率图像的需求量大,这也带来了一定挑战。为解决网络架构对数据依赖性的问题,本研究提出了一种无监督学习方法用于图像重建输出。在无监督学习的图像超分辨率重建网络中,还引入了图像降质的概念。通过建立无监督形式的图像超分辨率重建算法架构,可以在网络训练过程中不依赖有标签的图像,而是采用无监督方法进行有效训练。这种方法不仅完成了图像超分辨率的重建任务,还减少了对原始图像数据的依赖性,更适合实际应用需求。此外,我们还将本文的图像超分辨率重建算法应用于军事炸点测量,通过对遥感图像采集的炸点视频进行帧间重建,并结合SAT多目标跟踪任务对炸点进行测量,实现了帧间炸点的重建应用。总结和展望全文,概括了文章的整体结构和网络方法,同时对实验内容和未来研究进行了展望。本文的主要创新工作包括以下三个方面。(1)针对单幅图像超分辨率重建领域,本研究提出了一种基于多模态融合嵌套注意力机制的轻量化网络方法。该方法致力于解决单目视觉下的图像超分辨率重建问题,采用了基于残差注意力的轻量化网络架构,并对深度残差注意力机制网络(RCAN)进行了优化,作为基准模型。新提出的深度残差多模态特征轻量化网络Incise SR-AWRCAN是一个由800多个卷积层构成的深度超分辨率架构。为了应对高复杂度和大量参数的挑战,引入了Incise SR网络架构,在最大程度上降低了模型内存资源占用率,同时保持了图像质量。此外,Incise SR-AWRCAN利用多模态特征融合方法,在输出部分采用自适应加权(AW)模块处理输出张量,进一步降低了模型复杂度。通过多尺度嵌套级联的网络架构,该网络实现了更强大、更有效、更精确的特征信息提取。为解决模型退化的不准确性问题,引入了下采样层以取代传统退化算法,并采用Si LU激活函数以加快损失函数的收敛。在残差组内部,采用了多线程特征提取计算方法,并结合多模态特征融合策略,使得Incise SR-AWRCAN在处理复杂场景图像时能够获得更高的PSNR和SSIM指标。(2)针对遥感图像超分辨率重建的研究领域,本研究提出了一种创新的注意力机制——空间半张量积通道双聚合网络SATMF,它在单图像算法的基础上进行了扩展。SATMF通过空间和通道的聚合结构,实现了特征的有效整合,通过交替的通道和空间注意力提取,增强了对全局上下文信息的捕捉能力。本研究进一步改进了现有的单图像超分辨率重建算法Incise SR-AWRCAN,开发了基于SATMF的遥感图像超分辨率重建方法。这一方法考虑了图像在空间和时间维度的相关性,通过融合多图像数据,实现了更精确的超分辨率重建。为了解决深度残差注意力网络在二维特征提取上的限制,引入了3D卷积,以提高感知数据融合和信息提取的效率。面对大量特征信息处理的挑战,本文设计了一种级联嵌套的残差链接网络结构,有效过滤了冗余的低频信号,同时集中处理了关键的高频成分。这些技术的引入和改进,极大提升了SATMF算法在农业遥感图像超分辨率重建任务中的性能。SATMF模型通过多模态空间特征融合架构,在深度残差块之间实现了不同尺度下的语义特征、动态特征和3D空间特征信息的有效整合。该模型采用了半张量积运算,简化了模型复杂度,提高了特征信息处理的效率。经过广泛的实验和评估,本研究提出的基于深度学习的解决方案在农业遥感应用中展示了其先进的多图像超分辨率技术,对该领域的发展做出了显著贡献。(3)在遥感图像超分辨率重建领域,本文探讨了双目视觉遮挡下的炸点检测及跟踪应用。特别关注了迫击炮弹药落点中炸点轨迹的重要性,以及多个迫击炮形成炸点时可能出现的炸点检测失败情况。为了解决这一问题,本研究将图像超分辨率重建任务应用于炸点检测算法。通过对视频炸点帧中的双目视觉遮挡、炸点粘连和模糊等情况进行图像超分辨率重建,实现了炸点运动轨迹的清晰可视化。此外,本研究还利用目标跟踪算法对炸点运动过程进行检测和回推计算。这一基于深度学习的解决方案为图像超分辨率重建领域带来了新的技术进展,具有重要的应用前景和实用价值。

关键词：深度残差组多模态特征融合空间通道双聚合模型轻量化 3D空间注意力机制线性回归

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习的生成式对话系统研究

基于强化学习的生成式对话系统研究

作者：颜永延安大学

学位级别：硕士

基于深度学习的对话模型取得了突破性进展,但是仍然存在通用性回复、缺乏个性化回复等问题。基于强化学习的对话系统通过与用户交互来学习最优对话策略,从而提高对话系统的表现。从算法方面,改进了REINFORCE算法,改善了生成式对话模型... 详细信息

基于深度学习的对话模型取得了突破性进展,但是仍然存在通用性回复、缺乏个性化回复等问题。基于强化学习的对话系统通过与用户交互来学习最优对话策略,从而提高对话系统的表现。从算法方面,改进了REINFORCE算法,改善了生成式对话模型在训练阶段耗时长的问题。从对话系统的表现特性方面,解决了对话系统的存在的这些问题。具体研究内容可以概括为以下几点:(1)针对目前对话系统在生成回复时,会出现通用回复、模型训练耗时等问题。为了增加对话系统回复的多样性,采用多样性集束搜索作为解码器,在微调模型时采用自评序列训练方法削减REINFORCE算法策略梯度的高方差现象。改进的REINFORCE算法相比Advantage Actor Critic算法在训练过程中只用到一个网络,很大程度上降低了网络模型的复杂度。为了多样化探索对话语料库,在数据预处理阶段设计了多种类型的过滤器,记录实验用时发现这种做法可以有效节省模型训练的时间。(2)造成通用回复问题的主要因素在于模型本身及其训练的方式,并非缺乏足够的训练数据所导致。输入文本与目标回复总是存在一对一映射关系,通过多样性集束搜索充当解码器并不能很好地解决通用回复问题。本文设计了一种简单而有效的方法,在分层递归编码器解码器网络模型的编码器后面添加一个潜在动作空间,然后采用强化学习对对话策略进行隐式约束。通过对潜在动作空间进行探索,对话系统模型可以时刻捕捉用户的兴趣,从而有效解决通用回复的问题。记录实验过程,强化学习训练后期随着回合数不断增加,产生的多样化回复奖励会保持到一定的高度。(3)针对目前对话系统在对话时却反个性化回复,本文使用了一个基于注意力的分层递归编码器解码器模型。在对话过程中用户的特定信息往往是很有价值的,因为它直接关系到用户回答的内容和风格,这可能会进一步影响聊天过程和用户体验。分层递归编码器解码器网络模型可以将对话分解成两级层次,这种分解充分考虑到长期背景,考虑用户的特定信息。从系统和人工评测的结果分析,相比目前的RL模型,RL-AHRED模型的对话质量有明显的提升。

关键词：对话系统强化学习通用性回复个性化回复对话策略

基于生成对抗网络的分层融合图像修复算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的分层融合图像修复算法研究

作者：弋婷婷延安大学

学位级别：硕士

图像修复的目的是通过已知像素信息重建出合理清晰、语义恰当的逼真图像。传统基于数学或物理建模的图像修复算法,大多只适用于缺失面积较少或结构简单的图像,当图像缺失区域较大或背景信息冗杂时,修复图像会出现平滑模糊等问题。因为... 详细信息

图像修复的目的是通过已知像素信息重建出合理清晰、语义恰当的逼真图像。传统基于数学或物理建模的图像修复算法,大多只适用于缺失面积较少或结构简单的图像,当图像缺失区域较大或背景信息冗杂时,修复图像会出现平滑模糊等问题。因为卷积神经网络强大的特征提取能力,基于学习的图像修复方法较传统方法修复后的图像纹理结构更连贯清晰。继而随着生成对抗网络及其相关衍化模型的出现,为图像修复领域提供了更多新的修复框架,但是这些修复框架对于解决卷积神经网络的局部归纳等固有特性造成的修复图像模糊、语义不明确等问题仍存在不足。因此,本文结合分层融合的思想,基于对生成对抗网络的改进与优化,开展关于生成对抗网络的分层融合图像修复算法研究,具体研究内容概括为以下几点:（1）针对目前修复不规则掩膜人脸图像时,大多只是从单一尺度进行特征提取的问题,提出一种基于多尺度特征融合的对抗人脸图像修复算法。在图像修复网络中,利用深度可分离卷积结合残差连接,有效避免了图像连续性信息的损失;另外通过采用多尺度特征融合模块,将图像中的深层和浅层特征进行融合,缓解了网络判别器中因简单堆叠卷积而造成的语义信息丢失问题,促使修复网络加强自身的生成能力,从而提高了人脸图像中人眼等细节部位缺失的修复质量。通过定性和定量实验对比分析,本文所提算法在视觉感知和质量评价指标上均有所提升。（2）针对修复大面积缺失图像时造成的语义鸿沟等问题,提出一种基于Transformer的分层融合对抗图像修复算法。通过在修复网络的生成器中插入自监督注意力模块,利用动态提取上下文的方式加强对图像全局信息的掌握,有效缓解了图像邻域信息被忽略的问题;在判别器中引入分层Swin Transformer,结合卷积神经网络所提取的底层信息,以解决纯卷积层的局部限制问题;为确保图像特征信息的全局、局部一致性,联合使用深度过参数化卷积进行网络优化。通过相关实验验证,本文所提算法不仅可以修复人脸图像,而且可用于自然场景图像的修复,另外各项评价指标相比于其他方法均有所提高。（3）针对现存修复结果单一问题,提出一种基于生成对抗网络的多样化图像修复算法。利用两个生成对抗网络构建出并行多样化图像修复模型,在两个生成器的解码阶段,利用纹理特征增强模块,有效保留了图像的纹理特征信息,从而克服了上采样残差块缺失细节纹理信息的问题;另外在网络中嵌入加权语义注意力模块,将图像局部特征和全局特征的语义进行有效融合,提高修复内容的语义一致性;最后利用特征交互通道将两条路径的像素信息进行整合,并引入重建损失等其他约束性损失以提高图像整体修复质量,以及产生多样化的修复效果。

关键词：图像修复生成对抗网络多尺度特征融合 Transformer 多样化图像修复

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的点云语义分割算法研究与应用

基于深度学习的点云语义分割算法研究与应用

作者：安金都延安大学

学位级别：硕士

点云语义分割是实现现实场景理解的基础和关键,准确的分割结果在自动驾驶、机器人等领域都具有重要的实际意义,具有广泛的应用前景。在应用场景愈加复杂的当下,基于规则的方法已经难以满足需求,而以数据驱动的深度学习方法使得点云语义... 详细信息

点云语义分割是实现现实场景理解的基础和关键,准确的分割结果在自动驾驶、机器人等领域都具有重要的实际意义,具有广泛的应用前景。在应用场景愈加复杂的当下,基于规则的方法已经难以满足需求,而以数据驱动的深度学习方法使得点云语义分割得到了长足的发展。但是依然存在以下问题:模型对点的邻域空间信息挖掘不够深入并且特征的聚合方式也存在一定的问题,导致模型对于局部区域的理解不足;模型获得的语义信息存在缺陷,首先,模型所获得的语义信息对点云在方向上的变化较为敏感,容易导致模型理解困难。其次,边界区域多类别点混杂,之前模型对于边界区域的处理方式是不进行区分统一处理,导致边界区域的语义特征表达能力不足甚至是有误的,造成模型误判。本文围绕所提出的两个问题展开相关研究并提出相应的解决办法。点云是通过三维数据采集设备采集的刻画现实世界形状结构信息的三维数据形式,具有非结构、不规则的特点。为了最大化保留点云的信息,本文采用基于点的方法,这种方法也可以减小对硬件资源的需求。在基于点的方法的基础上,针对所提到的问题设计并实现了相应的解决算法。第一,针对点云邻域信息没有充分挖掘利用的问题。将点与其邻域范围内点的方向与距离信息同时考虑,帮助模型进一步挖掘信息,建立起对点云局部区域空间的理解。同时,设计了基于双空间距离的注意力池化方式,这种方式将点的欧氏距离和特征空间距离都作为重要的考量条件,可以更好地保留重要的特征,进而获得表达能力更强的局部特征,提升分割效果。第二,针对点云的语义信息存在一定不足的问题,对其从抗方向扰动性和优化边界点处理两方面进行强化。针对语义信息易受方向变化影响的问题,首先将点云的坐标转化为极坐标表示,可以使所提取的语义信息对于点云在z方向上的旋转免疫,其次通过引入不受方向变换影响的辅助信息来进一步削弱方向变化所带来的影响。针对在边界区域提取的语义信息表达能力不足甚至可能有误的问题,通过将边界点分类至两个不同集合并分别提取不同的集合点的特征,在特征融合阶段,使用可学习的权重来对两个集合的特征的权重进行调整,以帮助模型扩大有益贡献,提高分割性能。

关键词：点云语义分割深度学习邻域信息语义信息强化

基于Cycle-GAN的无监督图像风格转换算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Cycle-GAN的无监督图像风格转换算法研究

作者：屈佳佳延安大学

学位级别：硕士

图像风格转换,是一种把源域图像转换到目标域图像的模型。其中图像的内容由源域来提供,图像的属性和风格由目标域来提供,使转换后的图像既保留了源域图像的内容又具有了目标域的风格,实现了由源域图像到目标域图像的风格转换。图像风格... 详细信息

图像风格转换,是一种把源域图像转换到目标域图像的模型。其中图像的内容由源域来提供,图像的属性和风格由目标域来提供,使转换后的图像既保留了源域图像的内容又具有了目标域的风格,实现了由源域图像到目标域图像的风格转换。图像风格转换可以是标签图到场景图的转换、线条轮廓到色彩图像转换、春夏秋冬场景的变换,或者是白天黑夜的交替转换。类似这种端到端之间的转换任务,图像风格转换都能实现,同时图像风格转换在属性迁移、提升图片分辨率等方面可以发挥出重要的现实意义。无监督的图像翻译在解决无成对匹配数据集的问题时依靠添加约束的方法,但由于在转换任务中很多问题的特殊性考虑的不够,使得这些算法依然存在如下挑战:(1)由于网络瓶颈层的存在,很多的有用信息在此处发生了丢失,使得生成的图像在风格转换前后对背景区域底色改动较大。(2)在图像风格转换任务中,传统Cycle-GAN模型的生成器网络中不含注意力模块,这样导致在转换过程中对待转换目标的检测出现了偏差,很多时候会在无关紧要的区域生成目标的纹理模式。(3)如何选择图像质量评价标准。大部分情况下,主观的评估准则最贴近图像的真实生成质量,与人的视觉、感官判断结果相吻合,但实际操作起来难度大不易实现,还容易受到较多人为因素类似评价者教育背景、评价动机的干扰。相比之下客观的评价标准易于整合和实施,但很难从多维度来对图像的生成质量来进行较为准确地反映,况且在图像风格转换领域,能利用到的客观评价标准更是少之又少。本文研究的主要内容是以Cycle-GAN为基础的图像风格转换算法,旨在针对原Cycle-GAN模型在风格转换任务中出现的问题,做出了相应的改进。基于添加跳跃的方法,通过对Cycle-GAN基本思想、网络架构、训练过程的了解,采用Cycle-GAN作为基线完成模型的基础框架搭建。在其生成器网络结构加入跳跃连接,实现对输出和输入的连接,将低级信息传递到生成图像,来解决低级信息丢失和生成图像背景失真的问题。基于注意力机制的方法,在对注意力机制理解和研究的基础上,在生成器网络中引入注意力机制Fca Net来得到图像风格转换过程中最需要关注的区域,利用基于频域的方法完成上下文信息的建立与联系,来强调我们所感兴趣的区域同时抑制不相关背景区域,防止目标检测失败导致不需要转换的地方也被转换。基于MS-SSIM损失的方法,能够最大化原始图片a与生成图片G(a)的相似度,使转换到的图片更真实,避免了对抗无效问题的出现。本文在对模型训练验证之后,加载相应权重对模型进行最后的评估比较。掌握不同评价指标的物理意义与评价方法,拟采用平均FID、PSNR、SSIM作为评价指标来评价图像风格转换效果。最后分析总结模型鲁棒性能,在2-3个数据集上展示风格转换效果,并与原Cycle-GAN模型进行对比。

关键词：循环一致性生成式对抗网络注意力机制跳跃连接