基于结构和纹理感知的井下低光照自监督图像增强方法

作     者：潘杉 于挺 陈伟 田子建 岳中文 

作者机构：中国矿业大学(北京)人工智能学院 中国矿业大学计算机科学与技术学院 煤矿智能化与机器人创新应急管理部重点实验室 中国矿业大学(北京)力学与土木工程学院 

出 版 物：《煤炭学报》 (Journal of China Coal Society)

年 卷 期：2024年

核心收录：

学科分类：081901[工学-采矿工程] 0819[工学-矿业工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金资助项目(52074305,51874300) 国家重点研发计划(No.2021YFC2902103) 

主　　题：低光照图像 自监督 图像增强 光照估计网络 局部-全局感知 

摘      要：受井下复杂的空间环境和不均匀的人造光源影响，井下视觉设备采集的图像易呈现整体或部分区域光线不足、图像内容可见度差的问题。对于井下低光照图像的增强，现有图像增强方法的结果易出现对比度差以及部分区域过曝和欠曝的问题，本文提出一种基于结构和纹理感知的井下低光照自监督图像增强方法，以摆脱训练时对配对的井下低光照/正常光照图像的依赖。首先，为产生分段平滑的光照图，本文设计了一种自监督结构和纹理感知的光照估计网络，以根据自监督训练损失保留场景的边缘结构并平滑纹理细节。为了深入挖掘低光照图像中的局部纹理特征和全局结构特征以提高光照估计网络的性能，在光照估计网络中引入了局部-全局感知模块。该模块利用卷积操作中较小感受野能够捕获局部特征的能力以及视觉Transformer的自注意力机制能够实现全局信息交互的特性来实现低光照图像中局部和全局特征的提取。其次，为了实现自监督学习的训练方式，本文针对光照图分段平滑的特性，采用了一种结构感知的平滑损失。最后，为了进一步细化光照估计网络产生的光照图，使其具有合理的亮度和对比度，本文引入了伪标签图像生成器来合成具有良好对比度和亮度的伪标签图像。通过重建损失约束增强图像与伪标签图像之间亮度和对比度之间的一致性，从而间接约束光照图。在多个公开的基准数据集和井下真实场景的低光照图像数据集上进行主观和客观评价的实验结果表明，本文方法具有较好的低光照图像增强效果，在面对井下场景的低光照图像时方法也具有良好的泛化性能。