多尺度曝光图像及视频去色技术的研究

作     者：张晓丽 

作者单位：天津大学 

学位级别：硕士

导师姓名：刘世光;张宏涛

授予年度：2018年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像去色 视频去色 卷积神经网络 对比度 曝光度 时空一致性 

摘      要：去色问题是将三通道彩色图像或视频转换为单通道灰度图像或视频,是一个降维的过程。灰度图像或视频往往能够更好地展现物体的纹理和轮廓,并且灰度图像和视频通常只包含图像或视频中最重要的信息,可以有效地节省存储空间。去色技术被广泛应用于多媒体压缩、医学图像可视化、艺术作品风格化等领域。在图像去色过程中,如何保留彩色图像中的对比度信息一直是图像去色领域研究的核心。在传统图像去色方法中,研究者大多采用局部方法或全局方法求解彩色图像转换到灰度图像的映射关系以求最大程度地保留图像对比度。其次,人类视觉机制方面的研究表明,曝光度影响人类对于图像的感知,低曝光或过曝光区域会首先吸引人们对图像的注意力,同时影响图像对比度的展现。因此,本文设计了一个端到端的卷积神经网络框架用于对不同曝光度下的彩色图像去色。其中低级特征网络用于学习输入彩色图像低级特征,局部特征网络提取图像局部特征以保留局部颜色块的对比度,在曝光度特征粗分类器中获取图像的曝光特征,最后在去色网络中融合局部特征和曝光度特征,输出最终的灰度图像。视频去色的本质是对视频帧图像进行去色操作。目前已有的视频去色算法中大多是基于图像去色算法的推广,如果只考虑单帧视频图像的去色效果,往往会伴随闪烁现象,即相邻视频帧之间相同的局部特征或相同的物体,如果在相邻帧的去色结果中显示为不同的灰度级。针对视频去色的上述问题,本文提出了一种基于CNN和LSTM混合神经网络模型的视频去色方法。在该模型中,主要采用VGGNet19网络作为视频序列编码器提取视频帧的深度特征以实现对比度特征保留;使用LSTM学习视频连续帧之间的时序信息以保持视频的时空一致性,最后在基于反卷积的解码器中生成灰度视频帧序列。