检索结果-南通市图书馆

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于卷积神经网络的红外图像彩色化技术研究

基于卷积神经网络的红外图像彩色化技术研究

作者：陈灵强南京理工大学

学位级别：硕士

红外图像彩色化技术旨在保持输入红外图像中物体结构内容不变的情况下,生成具有可见光域风格的彩色图像。然而,由于现有方法缺乏对内容变化的关注,红外域的语义和细节信息在转换过程中出现退化,生成的图像仍存在纹理失真、细节模糊和图... 详细信息

红外图像彩色化技术旨在保持输入红外图像中物体结构内容不变的情况下,生成具有可见光域风格的彩色图像。然而,由于现有方法缺乏对内容变化的关注,红外域的语义和细节信息在转换过程中出现退化,生成的图像仍存在纹理失真、细节模糊和图像质量差等问题。近年来,卷积神经网络由于其强大的特征表达能力与场景泛化能力,在诸多计算机视觉领域取得了优于传统方法的视觉效果,为红外图像彩色化技术提供了新思路。由此,本文重点研究了基于卷积神经网络的红外图像彩色化技术,并致力于解决上述问题。主要研究内容与创新点如下:1)针对现有算法生成器结构特征提取不完备,彩色化过程物体结构内容不匹配且依赖配对数据集的问题,提出了一种基于特征融合与对比学习的无监督红外图像彩色化算法。该算法使用了改进的特征融合生成器结构,通过增添密集卷积块与跳跃连接,使网络的深浅层特征有效融合,增加了网络模型的复杂性与泛化能力。提出了一种对比学习损失函数,通过构造红外图像正负实例计算相似度并利用相似度构造交叉熵损失,使得网络自动拉近相似实例距离并确保物体结构内容的一致性,从而使得网络为无监督模型,即无需配对红外可见光数据集。实验结果证明,该算法能够产生清晰自然的彩色图像,同时相较于基准Cycle GAN算法,峰值信噪比性能提升7.9%,图像结构相似度性能提升19.8%。2)针对上述改进算法无法从全尺度捕获特征信息且对比损失函数计算过程中图像结构属性与风格属性紊乱的问题,提出了一种基于全尺度连接与注意力机制的无监督红外图像彩色化算法。该算法通过设计的跳跃连接结构将解码器与小尺度和同尺度的编码器特征图相连并与大尺度的解码特征图相连,从而在全尺度上捕获浅层细节与深层语义特征。同时利用注意力机制网络生成的带有语义分类信息的掩码图,辅助对比损失函数计算,使网络聚焦于图像相关结构特征,排除了风格属性的干扰。实验结果证明,该算法生成的图像明亮逼真,同时相较于基准算法模型,峰值信噪比性能提升15.4%,图像结构相似度性能提升21.1%。综上所述,本文提出的两种基于深度学习的红外图像彩色化算法有效解决了红外彩色化过程中的图像退化、细节模糊以及纹理失真等问题,对提高彩色化后的图像质量,从而更符合人眼以及机器感知具有重大意义。

关键词：红外图像彩色化特征融合对比学习全尺度连接注意力机制卷积神经网络

红外和可见光图像配准融合及真彩色实时系统研究与开发

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

红外和可见光图像配准融合及真彩色实时系统研究与开发

作者：熊丙毅云南师范大学

学位级别：硕士

随着技术的不断进步,红外图像在更多的领域得到了应用。红外与低照度可见光双波段图像融合,发挥了两种图像的优势,更有利于在各种场景下识别目标和环境。这一直以来都是研究热点,目前正向着实际应用阶段发展。与此同时,红外与低照度灰... 详细信息

随着技术的不断进步,红外图像在更多的领域得到了应用。红外与低照度可见光双波段图像融合,发挥了两种图像的优势,更有利于在各种场景下识别目标和环境。这一直以来都是研究热点,目前正向着实际应用阶段发展。与此同时,红外与低照度灰度图像彩色化也从伪彩色向真彩色方向发展,成为新的研究热点。针对该热点,以英伟达公司的Jetson Xavier NX作为硬件平台,采用长波红外和可见光两个波段开发了双目相机系统。利用该系统,完成了两项技术的研究,分别是红外与可见光图像的配准融合及实时处理研究和红外融合图像真彩色还原算法及实时处理研究。本论文完成的具体工作包括:(1)完成了红外和可见光双目相机系统的设计与加工。系统设计达到了满足适合于科研开发、夜间监控、无人机视觉吊舱等小型化、轻量化、可拆卸近红外滤光片,光轴平行,最远对焦距离时景深至少要达到5 m至无穷远、可见光视场包含红外视场,在30 m距离能识别人脸的结构要求。非制冷长波红外相机采用实验室自主开发的384×288机芯,可见光相机采用购买的SONY IMX385、1920×1080分辨率机芯,红外和可见光分别选用25 mm和16 mm镜头。图像处理硬件同时采集两路图像、支持算法二次开发、支持运行深度学习网络图像处理硬件要求。软件采用Qt+Open CV上位机和Python+Open CV两套方案,实现了操作界面和功能可扩展。经过测试,系统实时输出视频达到设计要求。(2)红外和可见光图像配准和融合算法及实时处理研究。验证了基于标定板的配准方法和基于图像裁剪的配准方法,得到配准图像后又验证了图像加权融合、图像金字塔融合和图像边窗滤波融合。实验分析了上述算法的配准融合效果和融合算法图像处理速度,其中加权融合算法速度最快,融合一对图像耗时0.006s,图像金字塔融合算法和图像边窗滤波融合算法耗时分别为0.1s和0.2s。为了保证图像处理的实时性,最终选择了基于标定板的配准方法和图像加权融合算法在Jetson Xavier NX硬件上实现,测试运行速度可以达到每秒37帧。(3)红外和可见光融合图像真彩色还原算法及实时处理研究。利用设计的红外和可见光双目相机系统采集了固定场景的红外图像、含近红外的可见光夜间图像和可见光白天图像,建立了深度学习训练数据集。选择Cycle-GAN网络训练并测试了夜间单通道红外图像和红外与含近红外融合图像的真彩色还原效果。对还原效果进行了客观评价比较,两种图像对场景的还原效果都很好,但两种图像对场景中较少目标还原效果较差。选择融合图像还原真彩色的模型文件,加载出整个网络和权重,把含有权重的网络转换成onnx文件。利用onnx文件可以把Cycle-GAN网络部署到Jetson Xavier NX硬件上,再用Tensor RT进行加速推理,最终测试图像处理速度最高可以达到每秒18帧。

关键词：红外和可见光双目系统图像配准融合红外图像彩色化 Cycle-GAN 实时处理

基于车载红外辅助驾驶系统的图像彩色化与三维重建

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于车载红外辅助驾驶系统的图像彩色化与三维重建

作者：沈振一东华大学

学位级别：硕士

随着车载红外辅助驾驶系统在民用领域的普及,车载红外的研究工作逐渐被人们所关注。由于车载红外图像本质上是一种灰度图像,有着对比度低、辨识度低等特点,不便于驾驶员对于这类图像的观察理解。因此研究如何使得红外图像中所包含的信... 详细信息

随着车载红外辅助驾驶系统在民用领域的普及,车载红外的研究工作逐渐被人们所关注。由于车载红外图像本质上是一种灰度图像,有着对比度低、辨识度低等特点,不便于驾驶员对于这类图像的观察理解。因此研究如何使得红外图像中所包含的信息更好的展现出来具有非常重要的意义。红外图像彩色化技术和红外图像的三维重建技术都可使车载红外图像的表现力大大增强。但是现阶段这两种技术的研究并不深入,并且这两种红外图像增强的算法还未很好地进行结合。本文以车载红外图像彩色化算法与车载红外图像三维重建算法为主要研究内容。实现了车载红外图像的彩色化并与现阶段已存在的彩色化算法进行对比,同时针对红外图像的特点,借鉴于可见光图像的三维重建算法并将其进行优化,最终实现红外图像的彩色三维重建。论文主要内容分三部分:第一部分是车载红外辅助驾驶系统的系统框架介绍,以及车载红外图像彩色化和三维重建算法的现有基本理论方法的概述;第二部分主要介绍了本文中提出的基于随机森林和超像素分割优化的红外图像彩色化算法和基于标签转移的红外图像彩色化算法。第三部分使用基于面板参数马尔可夫场模型的图像三维重建算法对红外图像进行三维重建,并将彩色化后的红外图像进行三维重建。论文的主要创新点有以下几个部分:1、提出了基于超像素分割和直方图统计相结合的车载红外图像彩色化算法。该算法与现有的一些彩色化算法相比在处理正确率和算法效率方面有明显的优势。2、创新性地将标签转移算法运用到红外图像的彩色化算法中,解决了彩色化算法分类数目单一的问题。该方法可以检测出红外图像除天空、地面、树木和行人以外的其它场景,细化了场景的分类。3、借鉴于可见光彩色图像的三维重建方法,将基于面板参数马尔科夫场模型的三维重建算法成功应用于车载红外图像的三维重建中,并针对红外图像的特点,对该算法进行了局部优化处理。该三维重建算法具有图像的假设条件少、适应性高的特点,可以很好地进行车载红外图像三维重建的工作。4、最后本文将车载红外图像彩色化和三维重建进行结合,将彩色化后的红外图像输入到三维重建的模型中进行三维重建。通过上述处理,使得红外图像的视觉效果更加直观,红外图像不仅有了色彩,更具有空间的立体视觉感。实验结果证明通过车载红外图像彩色化三维重建算法处理后,车载红外图像具有类似于白天图像的彩色显示效果。

关键词：红外图像彩色化三维重建超像素分割随机森林马尔科夫随机场

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的红外图像增强研究

基于生成对抗网络的红外图像增强研究

作者：史兴萍天津大学

学位级别：硕士

红外图像中往往包含很多人眼不易或不能察觉的信息,在国防军工,安保监控等方面应用广泛。但是红外图像存在色彩单一、分辨率低等问题,所以红外图像增强一直是研究的热点,例如红外图像彩色化,红外与可见光图像融合,红外图像超分辨率重建... 详细信息

红外图像中往往包含很多人眼不易或不能察觉的信息,在国防军工,安保监控等方面应用广泛。但是红外图像存在色彩单一、分辨率低等问题,所以红外图像增强一直是研究的热点,例如红外图像彩色化,红外与可见光图像融合,红外图像超分辨率重建等。基于传统算法的红外图像增强方法往往依赖像素间的关系,不能很好地学习图像内的信息与特征。生成对抗网络（GAN）通过生成器和判别器的博弈优化网络性能,可以充分学习图像中的信息与特征,在图像生成方面有巨大优势。因此,其在红外图像增强方面的应用值得研究。本文重点研究基于GAN的红外图像彩色化和红外与可见光图像融合这两个红外图像增强问题。在红外图像彩色化研究上,为了获得更加逼真和细致的彩色化结果,本文提出了一种DenseUnet GAN结构。本文改进了基于Unet的生成器,并添加多种损失函数优化彩色化结果。同时设计了反卷积优化的判别器。在大型公开数据集上的测试结果表明,本文的方法不仅在视觉上有更加逼真的效果,同时在结构相似性（SSIM）、熵（EN）等量化指标上也高于其他的图像上色方法。由DenseUnet GAN生成的彩色图像可以检测到的SURF特征点数量相当于原始彩色图像的93.49%,具有很好的特征重建能力。此外本文还对预处理数据集时采用的人脸定位神经网络实现了FPGA加速。实验表明,本文的加速方法相对于同开发板的ARM嵌入式计算有45倍的速度提升。在红外与可见光图像融合研究上,为了获得包含更多信息的清晰融合图像,本文提出了一种LBP-BE GAN结构。本文设计了基于局部二值模式（LBP）这一边缘特征提取算法的LBP损失函数,以保障融合图像具有更多的边缘信息。同时设计了基于分布的判别器结构,在没有理想的融合图像作为标签的前提下,建立起生成器和判别器的对抗损失。在TNO和INO数据集上与其他八种融合算法的对比结果表明,LBP-BE GAN的结果不仅在视觉上具有明显清晰的边缘,而且在六个有代表性的客观评价指标的综合评估上也优于其他对比算法。

关键词：红外图像增强生成对抗网络红外图像彩色化图像融合硬件加速