结合注意力和低光增强的夜间语义分割

作     者：肖慈 徐杨 张永丹 冯明文 黄易仟 XIAO Ci;XU Yang;ZHANG Yongdan;FENG Mingwen;HUANG Yiqian

作者机构：贵州大学大数据与信息工程学院贵州贵阳550025 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第7期

页      面：271-281页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：贵州省科技计划项目(黔科合支撑一般326) 

主　　题：深度学习 语义分割 自动驾驶 低光图像增强 注意力机制 

摘      要：随着深度学习技术的发展和计算能力的提升,对白天拍摄的自然场景图像进行语义分割能够取得良好的效果。然而,在夜间图像语义分割任务中,由于存在曝光不平衡、缺乏标记数据等问题,由白天数据训练的模型往往无法取得良好的表现。为此,提出一种新的无监督夜间图像语义分割网络(AI-USeg)。首先,使用一个轻量级的自校准照明网络(SCI)对夜间图像进行增强,以减少光照变化对后续语义分割网络的影响;其次,引入领域自适应(DA)方法,将模型从包含大量有标签数据的Cityscapes自适应到Dark Zurich-D,解决缺乏标记数据的问题;随后,AI-USeg在基于全卷积网络(FCN)实现的判别器中引入SENet,通过在输出空间进行对抗学习来适应夜间低光照环境下的图像特征,以提升夜间图像语义分割任务的效果。实验使用Cityscapes和Dark Zurich-train中的2416个昼夜图像对进行无监督训练,结果表明,AI-USeg在Dark Zurich-test和Nighttime Driving-test上的平均交并比(m IoU)分别达到了47.9%和51.5%,相较于MGCDA方法分别提高了5.4和2.1个百分点。AI-USeg对夜间图像的特征适应性更强,具有更高的鲁棒性,为夜间场景下的图像分割任务提供了一种有效的解决方案。