红外热像与3D深度图像融合及温度校正方法研究

作     者：张思靖 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：杨延西

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 081102[工学-检测技术与自动化装置] 0811[工学-控制科学与工程] 

主      题：图像融合 深度融合 注意力机制 热像仪温度校正 深度学习 

摘      要：工业生产过程中温度是一个重要的参数,目前主流的测温方式有接触式测温与热像仪非接触式测温。通过传感器接触式测温的方式可以精确的得到物体某一点或区域平均的温度信息,但是进行多方位测温作业时效率较慢,且很难同时得到多处的温度数据,增加了数据的不稳定性;热像仪非接触式测温方法可以面阵测温,但是往往忽视了目标物体的三维形状信息,导致在物体曲面位置反射率不同导致测温不精确。 因此本文提出了由热像仪与TOF相机构成的双目系统,实现温度与深度信息的融合,实现对高温工件任意一点的空间三维信息与温度信息的获取,并通过三维信息对温度进行校正,使得到的温度更加精确,并且该系统可以同时获取任意一点的三维信息与温度信息具有更广泛的应用场景。本文主要研究内容如下: (1)提出并设计了由热像仪与TOF相机构成的双目分光三维视觉与测温系统方案,提出了一种红外热像与TOF可见光图像融合,融合图像再与深度图像融合的融合策略,实现了温度信息与深度信息的融合。 (2)基于热像仪与TOF相机不同成像原理,设计了视觉与温度系统标定方案,进行了两个不同相机参数标定,并对双目系统的视差进行误差分析,建立了数学模型。研究了在TOF相机工作距离内的最佳配准距离,使视差产生的误差保持在5个像素范围内进行配准,实现了同一变换函数下配准深度可达到520.28mm。 (3)在红外热像与可见光图像融合方面,提出了一种基于DenseFuse网络框架的改进网络。首先在原网络基础上加入空间注意力与通道注意力的混合注意力机制,用于对输入特征进行增强;通过改进原网络的损失函数,加入光感损失函数,考虑到通过红外热像中的温度信息越丰富局部的灰度数值就会越大这一特点,对红外热像像素强度进行评估,保留更多的热辐射信息。最终实验结果表明,改进网络的各项参数均优于原DenseFuse网络,将改进网络应用于本文研究对象,融合结果中金属物体高温区域的温度损失为1.26%,低温区域为2.31%;非金属物体的温度平均损失为2.76%。 (4)针对热像仪与被测物之间天顶角超过50°后,由于反射率变化从而导致热像仪测温误差增大的情况,本文通过对融合温度信息的三维点云进行向量计算,由每个点的三维坐标与向量来计算出该点相对于热像仪的天顶角大小,通过查表的方式得到该天顶角下的修正系数,从而实现对点云中测温点的温度修正。金属物体实验结果中,最大天顶角89.43°处测温点温度相对误差降低了 10.6%,最小天顶角34.84°处测温点温度相对误差降低了 0.26%。非金属物体实验结果中,最大天顶角81.68°处测温点温度相对误差降低了 1.97%,最小天顶角41.20°处测温点温度相对误差降低了 0.79%。实验表明修正后的温度更接近与实际测量值。