基于变换域统计特征的图像融合方法研究

作     者：蒋钰婷 

作者单位：江南大学 

学位级别：硕士

导师姓名：罗晓清

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像融合 上下文隐马尔可夫模型 多状态 区间二型模糊集 细胞神经网络 

摘      要：图像融合是将在同一场景下,通过不同传感器获得的图像综合成一幅新的图像,使得融合图像具有更丰富的细节信息,对场景内的所有物体都能够清晰的识别,从而便于后续进一步的图像处理和分析。随着对图像融合领域的深入研究,图像处理的手段越来越丰富。以曲波变换、轮廓波变换、剪切波变换、非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)等为例的多尺度变换工具能够对图像进行多尺度分解,在多尺度分解层中提取显著特征,提高特征提取的准确性。NSST变换具有良好的多分辨分析特性和多向异性,能够满足不同的尺度和方向需求,具有良好的应用前景。研究发现多尺度系数间存在相关关系,利用统计模型可以得到系数的精确表示,提高图像融合的质量。所以,研究图像多尺度分解系数的统计相关性,建立统计模型,提取变换域统计特征进行图像融合,具有重要的研究价值和理论意义。本文对提取更精确的变换域统计特征进行深入的探索,并将其应用到图像融合中。本文的研究内容如下:(1)针对传统的上下文隐马尔可夫模型(Contextual Hidden Markov Model,CHMM)仅将系数分为两个状态,得到粗糙的建模结果的问题,提出了一种基于多状态上下文隐马尔可夫模型(multi-state contextual hidden Markov model,MCHMM)的图像融合方法。通过多状态对应着系数不同级别的细节度,设计了一个软上下文变量从上下文的角度准确地描述系数的细节性,利用多状态零均值的高斯混合模型(Gaussian mixture model,GMM)来表征高频子带系数分布,在高频系数上建立MCHMM模型。该方法提高了模型的细粒度,能够更精确的表示图像。实验结果表明,所提算法能够取得高质量的融合图像。(2)CHMM模型还存在建模不精确的问题,不恰当的参数设置会降低模型的表达能力,导致融合图像不理想。因此,提出了基于区间二型模糊集上下文隐马尔可夫模型(interval type-2 fuzzy set contextual hidden Markov model,T2-FCHMM)的多模态图像融合方法。利用区间二型模糊集来评估CHMM模型的不确定性,建立T2-FCHMM模型,并引入模糊熵评价T2-FCHMM的模糊性,提高了模型泛化能力和鲁棒性。基于模型统计特征与高频子带区域能量得到高频系数的活动测度指导融合。低频子带基于区域能量和方差自适应加权融合,能够较好的保持源图像的对比度。实验结果表明,所提算法在主观视觉感受和客观评价上都取得了良好的效果。(3)针对上述CHMM模型上下文设计仅针对单个系数进行计算,没有考虑到局部甚至全局系数的影响的问题,提出了一种基于多输入细胞神经网络(multi-input cellular neural network,MCNN)的CHMM模型并用于图像融合。利用MCNN的动态传播效应得到全局优化的上下文变量,并通过网络的迭代循环进一步提高特征提取的准确性和鲁棒性。然后在高频系数上建立CHMM模型,基于系数的细节性采用加权的融合规则得到高频融合子带,低频子带采用基于区域能量取大的融合规则。通过实验检验了该方法的有效性。(4)上述方法仅针对单一源图像各自建模,没有考虑源图像之间的相关属性。因此,提出了基于细胞神经网络(cellular neural network,CNN)多特征相似性的图像融合方法。通过提取图像系数的区域能量、区域方差和CHMM统计特征的多特征表示,克服单一特征不能准确的解释图像的问题。计算上述多特征相似性,用于衡量两幅图像之间的细节信息差异度,有助于提高融合图像的准确性和可靠性。利用CNN网络得到二值化的多特征综合相似性结果对图像的信息冗余和互补区域进行分割,对不同属性的区域采用不同的融合策略,提高融合图像的清晰度。实验结果表明,本文所提算法具有优越的融合性能。