基于深度学习的煤矿井下人体姿态估计研究

作     者：张之腾 

作者单位：太原科技大学 

学位级别：硕士

导师姓名：马立东

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0819[工学-矿业工程] 081903[工学-安全技术及工程] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：煤矿井下 去雾算法 人体姿态估计 注意力机制 特征融合 

摘      要：目前,煤矿井下作业环境中监控系统是确保综合采掘作业顺利进行和保障井下工人安全的关键。由于井下环境的复杂性,特别是频繁出现的粉尘和除尘遗留的水雾,以及防爆要求的低亮度照明,为监控设备的正常运行带来挑战。此外,监控室人员长时间监视视频容易产生视觉疲劳,极有可能忽视井下工人的操作失误等行为,造成严重安全隐患。伴随着计算机视觉技术对视频监控领域的赋能,煤矿井下的复杂地形和粉尘、水雾对成像质量的影响仍干扰人体姿态估计的准确识别,从而影响井下异常行为识别。基于“智能矿山概念的提出,以煤矿井下环境作为基础,深度学习技术作为辅助的高效人体姿态估计已成为大势所趋。 本文以煤矿井下去雾算法和人体姿态估计任务为主要研究内容,旨在通过计算机视觉的方法,获得高精度人体姿态估计预测结果,为后续基于该结果进行动作识别、行为判断等任务提供基础。具体研究内容以及结果如下: (1)针对大气光强估计不准确导致复原图像亮度失真和初始透射率边缘涂抹严重等现象,本文改进一种煤矿井下去雾算法。采用基于大气散射模型的物理图像复原方法,融合暗、亮通道先验信息重构大气光强,建立全新的加权大气光强估计模型;构造一种规整化因子权重系数增强图像边缘处理效果;实现煤矿井下图片去雾和特征细节突出效果。 (2)针对全卷积人体姿态估计网络过分关注局部细节特征,全局特征和整体人体骨架特征捕捉的不足,本文提出一种融合卷积和注意力机制的多并行高分辨率网络模型,称为SW-HRPose。本模型运用高分辨率网络设计策略,保留多并行子网的特征提取通道,轻量化设计网络架构;每个并行子网中设计基于卷积和基于自注意力机制的特征提取器,深入地理解人体的全局和局部特征;设计SW-fusion融合模块,整合高阶局部信息和低阶全局信息,实现对人体姿态的精确预测。本模型的创新之处在于高效结合了卷积和注意力机制的特征信息,提升人体姿态估计任务的准确性,并在COCO数据集平均精度(m AP)达到了75.9的效果。 (3)针对视频连续帧作为输入进行人体姿态估计时,采用基于单帧图像的人体姿态估计方法无法对运动模糊、散焦及姿态遮挡等问题进行准确预测,本文采用一种基于合并时间序列信息的深度学习模型。研究关键点时序合并策略,旨在融合相邻帧的特征,增强当前帧内的人体姿态特征表达;研究关键点残差融合机理,细化当前帧关键点定位精度;运用复原网络恢复和优化融合后的特征图,实现人体姿态估计定位精度提升。经过实验表明,本文算法在Pose Track2017和Pose Track2018验证集上平均精度达到81.7和80.2的效果;并在自制的煤矿井下人体姿态估计数据集达到73.7的m AP。