基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法

作     者：田子建 吴佳奇 张文琪 陈伟 周涛 杨伟 王帅 TIAN Zijian;WU Jiaqi;ZHANG Wenqi;CHEN Wei;ZHOU Tao;YANG Wei;WANG Shuai

作者机构：中国矿业大学(北京)机电与信息工程学院北京100083 中国矿业大学计算机科学与技术学院江苏徐州221116 中国石油大学(华东)石油工程学院山东青岛266580 国家矿山安全监察局内蒙古局内蒙古呼和浩特010010 

出 版 物：《煤炭科学技术》 (Coal Science and Technology)

年 卷 期：2024年第52卷第1期

页      面：297-310页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(52074305,52274160) 国家自然科学基金委员会-山西省人民政府煤基低碳联合基金资助项目(U1510115) 

主　　题：图像增强 图像识别 生成对抗网络 特征解耦 Transformer 

摘      要：高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。