检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图像到图像转换的半监督行人检测

基于图像到图像转换的半监督行人检测

作者：林思浩华南理工大学

学位级别：硕士

行人检测是指在给定的图像或视频中,将行人从背景中识别出来。行人检测有着广泛的现实意义,可以应用到各种实际生活场景,如监控系统和自动驾驶。近年来,深度学习特别是卷积神经网络受到研究人员的广泛关注,神经网络的性能已大幅领先传... 详细信息

行人检测是指在给定的图像或视频中,将行人从背景中识别出来。行人检测有着广泛的现实意义,可以应用到各种实际生活场景,如监控系统和自动驾驶。近年来,深度学习特别是卷积神经网络受到研究人员的广泛关注,神经网络的性能已大幅领先传统的基于手工特征的方法。然而,神经网络需要大量的标注数据进行训练,实际生产中标注数据十分昂贵,不能方便获取。本文在半监督学习的设置下,利用仅有的少量标注数据和大量无标注数据,提高模型的检测性能。针对标注数据不足的问题,本文首先利用少量标注数据训练一个弱检测器,收集高置信度样本作为伪标注数据。实际情况中,受制于弱检测器本身的性能,弱检测器产生的高置信度样本不一定是可靠样本。这类不可靠样本会引入大量错误信息,误导神经网络的训练,从而降低检测器的性能。为此,本文使用对抗学习的方法对样本图像进行转换,将不可靠的样本转换为可靠样本,提高训练数据的数量和可靠性。本文提出语义相似性和形状一致性两个正则项来保证生成图像的质量。接着使用标注数据和转换后的可靠样本训练一个样本分类器,用其产生更为可靠的伪标注数据。最后利用伪标注数据重新训练检测网络。本文在三个基准数据集上验证模型的检测性能和生成图像的质量。本文的模型超越了一些先进的行人检测方法。

关键词：行人检测对抗生成网络图像到图像转换半监督学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的图像转换方法研究

基于生成对抗网络的图像转换方法研究

作者：杨睿华东师范大学

学位级别：硕士

图像到图像转换是计算机视觉领域一个重要的研究方向,受到学术界和工业界广泛的关注和研究。图像到图像转换目的是学习图像域之间的映射,完成从源域图像到目标域图像的转换。图像到图像转换根据训练数据是否成对可以分为有监督和无监督... 详细信息

图像到图像转换是计算机视觉领域一个重要的研究方向,受到学术界和工业界广泛的关注和研究。图像到图像转换目的是学习图像域之间的映射,完成从源域图像到目标域图像的转换。图像到图像转换根据训练数据是否成对可以分为有监督和无监督两种类别,其中无监督图像到图像转换是更加常见的任务。本文聚焦于无监督图像到图像转换任务,提出了两种基于生成对抗网络的图像到图像转换模型:·基于生成对抗网络的单目标域图像转换方法（CSAGAN）本文提出CSAGAN模型旨在解决在单目标域图像转换中,现有的模型受数据集的影响表现出不同的性能差异等问题。CSAGAN在模型结构和训练损失函数方面进行了改进。该模型提出了一种多尺度特征金字塔判别器AFPD,更好地区分真实图像和虚假图像。同时该模型提出了一个新的注意力模块CSA,用于引导生成器生成更接近目标域的图像。此外,在训练过程中,该模型使用了辅助类激活损失用于提升生成图像的质量,输出更加逼真的图像。·基于生成对抗网络的多目标域图像转换方法（ACAGAN）考虑到单目标域图像转换不适用于多目标图像转换任务,本文提出了ACAGAN模型用于多目标域图像转换。ACAGAN模型的生成器在基本的编码器与解码器结构上采用UNet形网络和一个自适应注意力模块ACA,避免采样过程中信息丢失问题。此外,ACAGAN模型也使用了一个新的规范化函数Ada IGN,帮助模型控制图像颜色和纹理等变化,更好地利用潜在特征的样式信息。以上提出的两个模型,本文在公开的数据集上设计了对比实验和消融实验,并和当前主流的图像转换模型作为基准模型进行比较,实验结果表明本文提出的两种图像转换模型性能都优于基准模型。

关键词：图像到图像转换生成对抗网络注意力机制卷积神经网络

基于解耦内容-风格特征表示的图像转换研究进展

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国传媒大学学报（自然科学版） 2023年第2期30卷 17-30页

作者：毛琪陈澜中国传媒大学信息与通信工程学院北京100024

图像到图像转换(Image-to-Image Translation,I2IT)是在保留图像的内容特征条件下,将源域图像转换成目标域图像的过程,旨在学习不同域图像之间的映射。因I2IT应用广泛,如图像风格迁移、图像语义分割、图像修复和图像超分辨率等,图像转... 详细信息

图像到图像转换(Image-to-Image Translation,I2IT)是在保留图像的内容特征条件下,将源域图像转换成目标域图像的过程,旨在学习不同域图像之间的映射。因I2IT应用广泛,如图像风格迁移、图像语义分割、图像修复和图像超分辨率等,图像转换任务一直是计算机视觉领域中研究的热点和重点,并在近年来因深度学习的蓬勃发展取得了显著进展。其中,基于解耦内容-风格特征表示的无监督模型是图像转换的重要方法。本文从内容表示和风格表示两方面梳理了此类模型的发展历程;总结了图像转换任务中常用的数据集和评价指标,同时比较了经典模型在不同数据集上的效果;最后对基于解耦内容-风格特征表示的无监督图像转换的研究进行总结与展望。

关键词：图像到图像转换隐空间解耦生成对抗网络

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络的图像动漫风格化

计算机工程与应用 2022年第18期58卷 104-110页

作者：王一凡赵乐义李毅四川大学计算机学院成都610065

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图... 详细信息

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层(AdaIN)模块和多层感知机(MLP)模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性(lpips)作为内容损失函数,二分类交叉熵(binary cross entropy)损失函数(BCELoss)作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。

关键词：风格迁移图像到图像转换生成对抗网络动漫化图片感知损失

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络的跨模态图像生成研究

基于生成对抗网络的跨模态图像生成研究

作者：张露娟广东技术师范大学

学位级别：硕士

多模态图像是指利用不同技术手段采集得到的描述同一对象不同属性特征的图像。例如:对于某一对象来说,使用相机拍摄得到的彩色图像和使用激光雷达扫描得到的深度图像称为该对象的两种模态图像。在基于深度学习的图像处理中,使用多模态... 详细信息

多模态图像是指利用不同技术手段采集得到的描述同一对象不同属性特征的图像。例如:对于某一对象来说,使用相机拍摄得到的彩色图像和使用激光雷达扫描得到的深度图像称为该对象的两种模态图像。在基于深度学习的图像处理中,使用多模态图像有助于提高对象属性的表达能力,有助于获取研究对象更全面、更精确的信息,从而扩展和提升相关应用的处理能力。然而,受限制于设备、成本等原因,直接获取物体的多模态图像往往是非常困难的。为了解决物体某一模态图像获取困难的问题,本文受启发于图像到图像转换的思想,提出了跨模态图像生成方法:利用物体对象某一容易获取的模态图像生成所需的目标模态图像。针对现有图像到图像转换算法在处理跨模态图像生成时的不足,本文提出加入少量真实目标观测来生成符合现实要求的目标模态图像,而且,根据对目标观测的两种不同处理方式提出了两种不同的跨模态图像生成模型。实验表明,本文方法能够在实际应用中有效提高应用系统的准确性和稳定性,且具有较强的迁移学习能力和泛化能力。本文的主要工作包括以下3个方面:(1)提出了稀疏目标观测辅助的跨模态图像生成方法,并基于生成对抗网络构建了跨模态图像生成模型--GAN2C。该模型通过利用GAN的对抗学习以及稀疏目标观测的监督学习,提高了跨模态图像生成的效果。图像颜色恢复实验的结果表明,与经典的图像到图像转换算法相比,本文方法能够生成逼近于真实的彩色图像。(2)针对稀疏图像中有效观测的稀疏性以及卷积神经网络在处理稀疏图像时的局限性,提出了一种稀疏卷积融合操作,并结合跨模态图像生成,构建了一种稀疏卷积融合网络(SCFN)。稀疏卷积融合网络能够从稀疏的目标观测图像中提取有效的模态信息并将其与源模态图像进行融合学习。(3)将提出的跨模态图像生成架构应用到图像深度估计任务中,包括室内场景图像和室外交通场景图像。实验结果表明,本文提出的方法能够得到与最先进的图像深度估计方法相比拟的深度估计精度。本文方法在NYU-Depth-v2数据上的RMSE达到了0.261 m;在KITTI数据集上的RMSE达到了962.30 mm。

关键词：跨模态图像生成生成对抗网络图像到图像转换卷积神经网络图像深度估计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

生成对抗网络的可解释性研究

生成对抗网络的可解释性研究

作者：杨慧婷华南理工大学

学位级别：硕士

生成对抗网络已经在生成高质量图片上展示出巨大的潜力。今年来有工作展示预训练的生成器隐空间中编码了丰富的语义方向,通过一个特定的语义方向来改变隐向量能够编辑该图片。而为了实现真实图片编辑,对抗生成网络逆映射方法被提出。它... 详细信息

生成对抗网络已经在生成高质量图片上展示出巨大的潜力。今年来有工作展示预训练的生成器隐空间中编码了丰富的语义方向,通过一个特定的语义方向来改变隐向量能够编辑该图片。而为了实现真实图片编辑,对抗生成网络逆映射方法被提出。它将真实图片映射到生成器的隐空间中,获得对应的隐向量,即该目标隐向量通过生成器可以得到与真实图片一致的生成图片。除此之外,有相关工作利用预训练的生成器来处理图片到图片的转换任务,主要是通过替换内容向量或者样式向量来实现。此类对生成对抗网络隐空间的可解释研究将能帮助我们深入了解生成对抗网络黑盒子的工作原理。本研究生学位论文将会针对生成对抗网络的解释性进行研究,包括通过生成对抗网络进行图像编辑、对抗生成网络逆映射、图像到图像到转换等方面。针对生成对抗网络隐空间中可解释性方向探索问题,当前方法所需的训练数据要么依赖与有标注分数的,要么要求为二元属性,这大大影响了编辑任务的可用性。本文所提出的方法Adv Style则能够用于在没有明确标记的评分或二元属性的情况下发现可解释的方向。特别是,所提出的对抗方法同时优化发现的方向和属性评估器,使用目标属性数据作为正样本,而生成的数据则作为负样本。通过这种方式,只需收集正样本数据即可编辑任意属性,并且所提出的方法能够学习非二元属性的可解释性方向,如动漫风格和面部特征。除此之外,本文还引入了一种锚定机制,实现了新颖而强大的图像编辑功能。该方法的关键在于,生成对抗网络的隐空间具有结构性组织,自然的连贯性使该方法能够在有意义的锚点周围定位语义相关的隐编码。通过采用不同的锚点输入,所提出的简单方法可实现多种不同应用——跨域转换,交互式编辑和少样本可解释方向探索。

关键词：生成对抗网络图像到图像转换图像编辑

RGB-to-NIR Image Translation Using Generative Adversarial Network

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

RGB-to-NIR Image Translation Using Generative Adversarial Ne...

作者：黄翼华中师范大学

学位级别：硕士

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如:对于行人来说,相同姿态下,在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然,对于同一个... 详细信息

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如:对于行人来说,相同姿态下,在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然,对于同一个对象,不停模态下的图像蕴含着不同的特征。而基于多模态协同的任务有助于提升对象的表达能力,获取更全面精确的信息,从而提升和扩展其余应用如跨模态行人识别等的处理能力。一般而言,跨模态图像生成要求学习两种模态图像之间一对一的映射关系,且对生成的目标模态图像具有严格的输出要求:尽可能达到与真实目标模态图像像素级别的“精确匹配”。然而,当模态之间差异较大的时候,跨模态图像之间的转换生成是非常困难的。这是因为在大多数情况下,图像到图像的转换是个不良定义的问题,即不同领域图像之间的转换关系是不明确的。也就是说,对于给定的源图像,可能存在多张符合定义的目标领域图像。早期的图像到图像转换可以追溯到图像类比算法。该算法从多对输入-输出图片中学习到对应像素点的转换关系,再把这种关系运用到新的图片转换上,从而得到对应的转换图片。近年来,卷积神经网络凭借其强大的多层次图像特征提取和表示能力,被广泛应用于计算机视觉领域的众多任务中,并表现出了优异的性能,随着基于深度学习的生成模型的发展,研究者开始将深度学习模型应用到该算法中,取得了较好的转换效果。此时,图像转换任务依然可以看作一种广义的实例分割任务。由于生成对抗网络在清晰图像生成上的优异表现,基于GAN的网络模型开始被用来处理图像转换任务。在该任务中,生成器输入的不再是随机噪声,而是一张需要进行转换的图像。研究者们使用大量一一配对的图像结合条件生成对抗网络,提出了一个通用的图像到图像转换架构并选择合适的损失函数对模型进行优化,在很多图像到图像转换任务中取得了很好的结果。根据不同的图像到图像转换任务,可以使用不同的网络结构结合不同的损失函数来训练模型。对于具有完全匹配的输入与输出的图像到图像转换任务来说,采用像素损失作为模型训练的损失函数能够尽可能达到图像内容上的一致。而对于那些更关注图像语义上的转换的图像转换任务,使用感知损失取代像素损失能够生成质量更好的图像,如图像风格迁移,图像超分辨率重建。此外,由于判别器的判别损失能够进一步提高图像的生成质量,生成对抗网络是实现图像到图像转换任务的绝佳网络架构。基于监督学习的图像到图像转换算法虽然具有良好的泛化性能,但需要大量的一一配对数据用于模型的训练当中。然而,在实际应用中,难以获得大量的训练数据集用于模型训练。基于此,一种不需要配对训练数据的通用模型——CycleGAN被提出,该模型通过添加循环一致性损失使生成的图像保持原图像的某些特征,能够防止模式崩塌问题,使得针对无配对图像的转换问题的图像转换成为可能。然而,基于无监督的图像到图像转换是一个艰难的问题,需要加入额外的假设进行约束。例如共享潜在空间假设,该假设认为将两张来自不同领域的对偶图像映射到某个共享潜在空间上时会得到相同的隐含编码,通过该隐含编码作为中间连接能够实现两张图像之间的相互转换。基于该假设结合变分自编码器（VAE）和对抗生成网络（GAN）的一种无监督图像到图像的转换模型在许多计算机视觉任务上取得了良好的效果。本文研究的跨模态图像生成是一种特殊的图像到图像转换,其要求学习两种模态图像之间一对一的映射关系,且对生成的目标模态图像具有严格的输出要求。虽然现有的图像到图像转换算法在很多任务中能够得到看上去比较真实的目标领域图像,但是生成的图像与真实图像之间的像素值及图像结构差异仍然比较大。因此,本文的跨模态图像生成要求生成的图像和真实图像之间尽可能达到像素级别的一致性同时尽可能的保留图像结构信息。并基于此提出了一种解决方案:利用边缘损失函数替代原模型中的内容损失函数,用于解决原模型中生成图像边缘模糊以及因为内容损失函数约束太强而造成的生成器泛化能力减弱的问题。同时,引入局部像素转换用于生成器的预训练中,提升生成器的像素转换精度。具体工作如以下各部分所述:（1）提出了一种边缘损失函数用于替代原CycleGAN模型中的内容损失函数。这是因为第一,边缘损失可有效提升生成图片的边缘精度。无论是RGB模态的图像还是NIR模态的图像,它们之间的边缘检测的结果是一致的。其次,对于内容损失函数,其约束使得生成器的输出与输入趋于一致,生成器的泛化能力减弱。具体来说,给定一个真实样本Xk,生成样本Xk依然对应着原真实样本。而最小化内容损失D（Xk,Xk）2是无意义的。相反的,对于边缘损失函数来说,即使给定的边缘与生成边缘完全一致,由于RGB图像与NIR图像的边缘一致性,最小化边缘损失依然有着实际意义。对于各区域间的像素转换,则由如下所述的使用局部像素的生成模型预训练完成。（2）通过图像分割,扩充对

关键词：跨模态图像生成生成对抗网络图像到图像转换卷积神经网络行人重识别