用于弱光环境下的跨模态图像增强融合与配准研究
作者单位：重庆理工大学
学位级别：硕士
导师姓名：朱革;潘远亮
授予年度：2024年
学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程]
摘 要：跨模态图像一直作为重要的多源二维信息来源,广泛应用于机器视觉、军事安防和工业检测等诸多领域。其中,红外图像和可见光图像作为最易获取的异源图像受到了高度关注。红外图像呈现的是物体热辐射分布的灰度图,而可见光图像则以人眼视觉为基础,描述目标纹理的特征及轮廓信息。二者在成像机理和图像信息上虽源于不同的模态,但存在天然的互补性。在复杂险态环境下(遮挡环境、弱光环境、曝光环境等),跨模态图像信息的相互融合有着极其重要的应用价值,不仅解决了单源图像难以捕捉目标特征的痛点,也突破了高级视觉任务中单模图像特征随网络加深退化所带来的目标锚点丢失的瓶颈。 跨模态图像融合研究在近年来高度配准的双光仪器上取得了长足进展。然而,介于民用设备的器件发展水平及低廉的技术成本,双光摄像头的分辨率及性能参数大多远远低于高清可见光设备,这造成了多摄像头场景下图像配准的技术壁垒:1)在弱光复杂环境下,可见光和红热图像分别存在因缺少光源和热源,导致双光图像质量极差的问题;2)民用双光设备自带的红外可见光融合算法难以有效保留纹理特征,在多耦合场景中往往造成跨设备配准无法进行的窘境;3)跨设备图像尺度的巨大差异及复杂环境下跨模态图像分别存在的异源非线性干扰(大气干扰、几何失真、非线性辐射等),导致传统的跨模态图像配准算法难以有效匹配图像特征。 上述技术壁垒不仅增大了弱光险态场景下多摄像头配准的难度,同时也造成高级视觉任务(目标识别、目标追踪)无法有效开展。因此,针对上述问题,研究快速且通用的异源图像增强算法、多模态特征有效交融的跨模态图像融合算法以及稳健、精确、鲁棒性强的跨模态图像配准算法,就具有了极其重要的理论和应用价值。 本文主要研究了用于弱光环境下的可见光图像增强算法、红外图像增强算法、跨模态图像融合算法和跨模态图像配准算法四大部分。其具体内容和创新如下: 1)为解决现有的可见光图像增强算法存在的特征退化和参数量巨大等问题。本文提出一种用于弱光图像增强的快速多尺度残差网络(FMR-NET)。该网络提出了一种全新的卷积结构:多尺度局部卷积(MPC),不仅具备提取多尺度特征的能力,同时创新性地结合了弱光增强环节,可同时完成特征提取和亮度增强的任务,实现超越同类型多尺度特征提取模块和亮度提升模块的效果。FMR-NET充分优化了网络复杂度和推理速度,网络结构十分简单。该网络仅有0.006M的参数量。结合主客观评价,可快速高效完成图像增强任务并处于同类算法的领先地位。 2)为解决现有弱光红外图像增强算法中存在的增强图像光照不均以及纹理细节特征丢失等问题。本文提出一种基于Transformer的多层级重参数残差网络(TMRRNET)用于弱光红外图像增强。本文创新性地提出快速重参数残差块,用于红外图像纹理特征的快速提取。同时,TMRR-NET巧妙地利用不同卷积层的上采样图作为迭代函数的逐像素参数,并通过双通道Transformer结构增强图像特征,达到亮度增强的同时保持更好的纹理细节。该网络仅有0.012M的参数量。经大量实验验证,TMRR-NET在主观视觉测试和图像质量测试上较现有算法表现出色,并且参数量更小。 3)当前的跨模态图像融合算法应用于弱光环境时,存在信息补全能力差,特征丢失严重,细节纹理难以有效捕捉的问题。本文设计了基于梯度保持和局部特征引导的深度图像融合算法。通过训练自动编码器(AE),将不同模态的图像分解为含有高、低频的背景及细节特征的图层,之后利用解码器恢复原始图像。编码器部分,本文设计了多尺度梯度保持残差块(MGRRB)用于图像强弱纹理的特征保留,并在解码器部分设计了局部特征引导块(LFGB)用于图像重建。经大量主客观评估表明,本文算法较同类方法取得了领先的成绩。 4)为解决不同尺度以及设备差异所带来的空间位置差异。本文设计了一种基于联合描述与检测思想的深度特征匹配网络,用于跨模态图像的精准鲁棒匹配。本文巧妙设计了具有更大感受野的网络结构,用于更好地提取卷积层中的深度语义和局部特征。通过学习跨模态图像间同名点的几何与辐射不变量,该网络可形成端到端的跨模态图像精准匹配。本文还加入了匹配点提纯环节,筛选异源图像更精准的匹配线路。通过主客观评估,本文算法较同类匹配算法取得了更加优异的性能。
同方学位论文库