基于深度学习的图像拼接方法研究

作     者：熊威 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：刘涵;王文卿;吴华勇

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像拼接 单应性矩阵 无监督学习 自适应感受野 TPS变换 

摘      要：图像拼接技术旨在将两张或多张图像合并为一个宽广视野的全景图像,该技术在众多领域中得到了广泛的应用。然而,图像拼接的过程中依然面临许多技术挑战。由于传统方法过分依赖特征提取,在处理纹理较少或模糊的图像时,关键点的检测与匹配常常遇到困难。在深度学习领域,有监督学习方法面对现实场景的标注难题,常常受限于自身的泛化能力,并对训练数据表现出过度敏感;而无监督学习方法由于其卓越的性能和无需标签的训练特性,在图像拼接任务中引起了广泛的关注。为了解决现有方法在不同场景和视差条件下的局限性,本文提出了一种创新的无监督深度单应性估计的图像拼接方法,致力于提高自然场景下图像拼接的质量。本研究的主要工作包括: 针对特征稀疏或关键点难以检测的场景,传统方法难以取得理想效果,为了得到最佳的单应性矩阵,本文提出了一种具有自适应感受野和特征同一性约束的深度单应性估计方法。本方法的具体实现步骤如下：首先,设计了一个具有自适应感受野的特征提取模块,并结合特征一致性约束,以更准确地定位关键点,从而增强特征匹配的能力。此外,引入了一种多尺度Transformer网络,以由粗到细的方式建立输入图像特征金字塔,从而预测单应性矩阵。最后通过线性加权融合的方法将源图像和目标图像拼接在一起。本文在具体实验中选取了常规(RE)、弱纹理(LT)、弱光(LL)、小前景(SF)和大前景(LF)这五种不同场景的图像数椐集,选择了四种拼接算法进行主观和客观测试。实验表明本文方法有一定的优越性。 针对图像融合过程中常见的伪影问题以及在处理具有大视差的图像拼接任务时遇到的挑战,本研究提出了一种创新的图像融合策略,该策略融合了薄板样条(TPS)变换和学习式掩码技术。本方法的核心在于通过深度学习模型精确地适应并校正图像之间的几何变形,进而实现高质量的图像拼接。本方法的具体实现步骤如下:首先采用基于ResNet架构前三层的深度特征提取网络,以高效地从输入图像中抽取丰富的深层特征。紧接着,引入了上下文相关层使网络能够在特征图中有效地捕获远程相关性,从而增强了模型对图像细节和上下文信息的理解。随后,将提取的特征流引导至所设计的回归网络,以计算控制点的位移量,这些控制点的调整是基于TPS变换策略的,确保了变换过程的稳定性和灵活性,使拼接图像更贴近源图像的真实形状。最后,本研究方法与现有的传统和深度学习图像融合方法进行了广泛的对比,包括在常规场景和复杂场景下的主观视觉评估和客观性能评价。实验结果充分展示了本方法在提高拼接图像质量、减少伪影、以及增强对大视差图像处理能力方面的明显优势。