检索结果-南通市图书馆

维普期刊数据库

双路径双鉴别器生成对抗网络的红外与可见光图像融合

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年

作者：许光宇陈浩宇张杰安徽理工大学计算机科学与工程学院

针对图像融合算法中存在源图像信息保留不够充分、细节信息不够丰富等问题，提出一种基于双路径双鉴别器生成对抗网络的红外与可见光图像融合方法. 在生成器端构建基于源图像差异拼接的梯度路径和对比度路径，提高融合图像的细节信息... 详细信息

针对图像融合算法中存在源图像信息保留不够充分、细节信息不够丰富等问题，提出一种基于双路径双鉴别器生成对抗网络的红外与可见光图像融合方法. 在生成器端构建基于源图像差异拼接的梯度路径和对比度路径，提高融合图像的细节信息和对比度; 通过多尺度分解提取红外与可见光图像的特征信息，解决单一尺度特征提取不全面的问题; 然后将源图像引入双路径密集网络的每一层，在提升特征传递效率的同时可获取更多源图像信息; 在鉴别器端采用双鉴别器估计红外与可见光图像的区域分布，避免单鉴别器网络丢失红外图像对比度信息的模态失衡问题; 最后构造主辅梯度和主辅强度损失函数，提升网络模型的信息提取能力. 与8种主流图像融合方法在TNO数据集、RoadScene数据集和MSRS数据集上的对比实验结果表明，所提方法在4个客观评估指标(平均梯度、空间频率、结构相似性和峰值信噪比)上取得较好的效果.

关键词：图像融合生成对抗网络多尺度分解密集连接双鉴别器

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

多路径生成对抗网络的红外与可见光图像融合

国外电子测量技术 2024年第3期43卷 18-27页

作者：许光宇陈浩宇张杰安徽理工大学计算机科学与工程学院淮南232001

生成对抗网络在红外与可见光图像融合领域受到广泛关注,但单路径进行融合容易丢失浅层信息、分支路特征提取融合能力有限。提出一种基于多路径生成对抗网络的红外与可见光图像融合方法。在生成器端,利用源图像与导向滤波结果构建3条输... 详细信息

生成对抗网络在红外与可见光图像融合领域受到广泛关注,但单路径进行融合容易丢失浅层信息、分支路特征提取融合能力有限。提出一种基于多路径生成对抗网络的红外与可见光图像融合方法。在生成器端,利用源图像与导向滤波结果构建3条输入路径提取更多源图像特征信息,以获得细节更丰富的融合图像;然后,卷积层加入掩码注意力机制模块,提升显著信息的提取效率,引入密集连接和残差连接,在提升特征传递效率的同时可获取更多源图像重要特征信息。在鉴别器端,采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失对比度信息的模态失衡问题。在TNO数据集上进行了实验,实验结果表明,所提算法在5个客观评估指标上4项取得了最好结果,优于多数主流算法,在主观评估方面,所提算法保留了更多的纹理细节信息,具有更好的视觉效果。

关键词：图像融合生成对抗网络浅层特征提取导向图像滤波双鉴别器

维普期刊数据库

基于双鉴别器生成对抗网络的单目深度估计方法

在线全文

学校读者我要写书评

暂无评论

北京工业大学学报 2022年第9期48卷 928-934页

作者：阮晓钢颜文静黄静郭佩远北京工业大学信息学部北京100124 计算智能与智能系统北京市重点实验室北京100124

针对自监督单目深度估计精度不高的问题,提出一种基于双鉴别器生成对抗网络的自监督单目深度估计方法.该方法利用生成对抗网络在合成视觉上可信的图像方面的优势,进一步提高了自监督单目深度估计的精度.首先,为充分利用重建图像,在Wasse... 详细信息

针对自监督单目深度估计精度不高的问题,提出一种基于双鉴别器生成对抗网络的自监督单目深度估计方法.该方法利用生成对抗网络在合成视觉上可信的图像方面的优势,进一步提高了自监督单目深度估计的精度.首先,为充分利用重建图像,在Wasserstein生成对抗网络的基础上进行改进,构建了2个鉴别器的结构.双鉴别器对生成器的要求和训练目标更加严苛,避免了由于只在左图像或右图像上引入鉴别器而造成的信息损失.其次,针对该网络的结构,提出了一种局部-全局一致的损失函数,保证了像素的真实性和局部-全局内容的一致性.在KITTI基准测试集中与单目深度估计的相关代表方法进行了比较,实验结果表明,该方法有效地提高了单目深度估计的精度,具有较好的深度估计的性能.

关键词：单目深度估计双鉴别器生成对抗网络图像重建自监督学习机器视觉

维普期刊数据库

基于双鉴别器生成对抗网络的多模态医学图像融合方法研究

在线全文

学校读者我要写书评

暂无评论

基于双鉴别器生成对抗网络的多模态医学图像融合方法研究

作者：米嘉中北大学

学位级别：硕士

随着现代医学成像技术的发展,出现了不同模态的成像方式,单一模态的医学图像对于细节的表征具有局限性。针对单模态图像的局限性,临床上将多种模态的医学图像进行融合,不仅可以保留更多的原始图像特征,而且弥补了单模态医学图像表征能... 详细信息

随着现代医学成像技术的发展,出现了不同模态的成像方式,单一模态的医学图像对于细节的表征具有局限性。针对单模态图像的局限性,临床上将多种模态的医学图像进行融合,不仅可以保留更多的原始图像特征,而且弥补了单模态医学图像表征能力的不足,使丰富的细节展示于融合图像中,利于医生对疾病准确地诊断和治疗。本文通过对多模态医学图像融合理论的进一步研究,明确了该领域目前尚存的一些问题,并进行了针对性改进,主要改进内容如下:针对现有的图像融合方法仅在单一尺度上提取图像特征,导致丢失部分医学图像其他尺度的特征,影响融合图像深层细节表征和图像清晰度的问题,提出基于改进UNet3+和跨模态注意力块的双鉴别器生成对抗网络(UC-DDGAN)用于多模态医学图像融合。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分利用Concat层对两模态全尺度特征图进行通道叠加并卷积,得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权,以优化生成器。UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,为临床诊断提供了帮助。针对UC-DDGAN存在的网络结构复杂,需要大量数据集用于训练的问题,提出一种基于知识蒸馏和可解释AI模块的生成对抗网络多模态医学图像融合网络(KDEGAN)。KDE-GAN以UC-DDGAN为基线模型,利用知识蒸馏改进生成器,并引入可解释AI模块到鉴别器。知识蒸馏改进生成器先将嵌入跨模态注意力块的U-Net3+作为教师网络,再将各跨模态注意力块的输出二值化后重构为学生网络,最后利用教师网络指导学生网络训练。可解释部分先利用鉴别器中的可解释AI模块得到关于鉴别结果的解释图像,再根据解释图像判断鉴别器性能,动态决定鉴别器是否需要继续被优化。经知识蒸馏得到的学生网络替换基线模型的生成器中特征提取部分,与被引入可解释AI模块的鉴别器配合,可保证即使用小规模的数据集训练,依然能获得深层细节清晰的医学融合图像。根据本文提出的两种图像融合方法,开发了一个基于Py Charm平台的多模态医学图像融合系统。该系统包含登录模块、融合模块两个部分。其中,融合模块部分可实现输入一对配准过的CT-MR图像,输出其各自融合后图像的主观视觉和客观指标结果。该系统应用于临床,有助于医生快速了解融合图像主客观评价结果,便于选取效果更好的医学融合图像用于疾病的诊断。

关键词：图像融合双鉴别器生成对抗网络 U-Net3+ 跨模态注意力块知识蒸馏可解释AI

基于双鉴别器的条件生成对抗网络图像去模糊方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于双鉴别器的条件生成对抗网络图像去模糊方法研究

作者：张柯长安大学

学位级别：硕士

图像在拍摄过程中可能受到多种因素影响导致模糊不清,而图像的清晰度是人们评价图像的重要前提,因此图像去模糊也是一个重要的研究课题。传统图像去模糊方法首要任务是图像模糊核的估计,但因自然图像模糊类型很多,对模糊核的估计造成很... 详细信息

图像在拍摄过程中可能受到多种因素影响导致模糊不清,而图像的清晰度是人们评价图像的重要前提,因此图像去模糊也是一个重要的研究课题。传统图像去模糊方法首要任务是图像模糊核的估计,但因自然图像模糊类型很多,对模糊核的估计造成很大困难,影响去模糊效果。因此本文采用端到端的思想,利用双鉴别器的条件生成对抗网络来提升模糊图像的清晰度。主要研究工作总结如下:(1)原始生成对抗网络的结构由一个生成器和一个鉴别器构成。生成器捕捉真实数据样本的潜在分布,并生成新的数据样本,以欺骗鉴别器为目的;鉴别器是一个二分类器,通过分析图像中的各个像素,鉴别所输入图像来自真实数据的样本分布还是来自生成器生成的数据样本分布。(2)本文以原始生成对抗网络的思想为基础,采用双鉴别器的设计,生成器与两个鉴别器的网络结构分别构建,并给予两个鉴别器不同的损失计算方法,因此两个鉴别器具有不同的优化目标。第一个鉴别器更侧重于真实的数据样本分布,若样本来自真实分布则给与该鉴别器较高的“奖励”,第二个鉴别器更侧重于生成器生成的数据样本分布,若样本来自生成的分布则给与该鉴别器较高的“奖励”。在网络学习的过程中,两个鉴别器同时与生成器做对抗训练,生成器所生成的数据样本要同时欺骗两个鉴别器,对于其生成的样本质量要求更高。该方法在改善图像清晰度的同时,也可一定程度上提升网络模型的泛化性能。(3)网络模型构建完成后,将对其进行训练,在训练的过程中根据具体情况适时调整相关参数、网络结构以及优化器类型,然后重新训练,以达到改进训练效果的目的。(4)模型训练收敛后对其去模糊效果进行测试,并与类似方法的去模糊效果做了对比分析。测试时除了对测试集中数据样本的测试,还加入了对实际拍摄图像以及网络搜索图像的测试。测试结果表明,本文方法与类似方法的去模糊效果相比,无论从客观评价法中PSNR及SSIM的测试数据还是从主观层面来看,本文所用方法的效果相对来说都更好,证实了本文所用方法的可行性。

关键词：数字图像处理人工智能图像去模糊对抗网络双鉴别器生成器

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向模仿学习的生成对抗学习算法研究

面向模仿学习的生成对抗学习算法研究

作者：郝少璞苏州大学

学位级别：硕士

模仿学习是一种不依赖环境奖赏信息,从专家样本中学习最优策略的方法。生成对抗模仿学习结合模仿学习的决策能力与生成对抗网络的表征能力,在高维连续控制任务中展现了强大的智能性和良好的普适性,已经成为模仿学习领域的研究热点之一... 详细信息

模仿学习是一种不依赖环境奖赏信息,从专家样本中学习最优策略的方法。生成对抗模仿学习结合模仿学习的决策能力与生成对抗网络的表征能力,在高维连续控制任务中展现了强大的智能性和良好的普适性,已经成为模仿学习领域的研究热点之一。然而,生成对抗模仿学习在模态表征能力、算法稳定性以及样本利用率方面存缺陷,严重限制了其在复杂现实任务中的应用。针对以上生成对抗模仿学习在对抗训练过程中出现的三个问题,本文提出了解决模态塌缩问题、提高训练稳定性以及提高生成样本利用率的模仿学习框架。具体研究内容可以分为以下三个方面:(1)针对生成对抗模仿学习的模态塌缩问题,提出了基于余弦相似度的多模态模仿学习算法。该方法在生成对抗模仿学习框架上增加一个编码器,并使用策略组代替单一策略。策略组的使用可以让不同模态策略更新时不相互影响。另外,使用编码器自动从专家样本中抽取模态特征,并依据这些模态特征构建余弦约束。在余弦项的约束下同模态的样本分布更加接近,不同模态的样本分布尽可能远离,使智能体可以很好地学习多模态策略。(2)针对生成对抗模仿学习训练不稳定的问题,提出了基于软更新的双鉴别器生成对抗模仿学习算法。该方法在生成对抗模仿学习的框架上增加了一个新的鉴别器。在基于软更新的双鉴别器生成对抗模仿学习算法中,分别使用不同的损失函数对两个鉴别器进行训练,并使用软更新的方式对双鉴别器进行更新,使生成对抗模仿学习的训练过程更加稳定。(3)针对生成对抗模仿学习生成样本利用率低的问题,提出了带有经验回放的生成对抗模仿学习。该方法在生成对抗模仿学习框架上增加了一个经验池。带有经验回放的生成对抗模仿学习以Wasserstein距离作为度量方式挑选出具有指导作用的生成样本,并将这些生成样本存储在经验池中。在生成对抗模仿学习训练过程中,将经验池中的生成样本加入鉴别器的训练样本中,提高生成样本的利用率,加快了生成对抗模仿学习的训练进程。

关键词：模仿学习生成对抗模仿学习多模态双鉴别器经验池