基于2D-3D融合的带电作业人员智能安全监测方法研究

作     者：梁晓玉 

作者单位：河北科技大学 

学位级别：硕士

导师姓名：白宇

授予年度：2023年

学科分类：0808[工学-电气工程] 080803[工学-高电压与绝缘技术] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：电力作业 计算机视觉 目标检测 姿态估计 深度图补全 三维重建 

摘      要：电力场景具有空间范围广、人员多、作业行为复杂以及高空作业等特点,安全作业在该场景中具有举足轻重的作用。近些年以目标检测、姿态估计为代表的智能视频分析技术逐步用于电力行业的安全监测,保障带电作业的安全运行。基于此,本论文围绕带电作业人员智能安全监测方法,分别从安全防护设备检测、作业人员姿态估计、人体与带电体在三维空间中的安全测距、手部操作状态可视化四个方面展开研究,所作的工作如下:1)带电作业人员的安全防护设备检测。在电力场景中,绝缘杆与绝缘毯等防护设备长度较大,且在目标检测时对角度变化十分敏感。本论文使用基于CSL的目标检测算法完成带有旋转框的目标检测任务,进而判断带电作业人员是否正确佩戴安全防护设备。在采集的电力数据集中所有目标的平均检测精度达95%以上。2)带电作业人员姿态估计。使用自底向上的hyperpose姿态检测库对电力场景中带电作业人员安全行为进行监测。通过姿态估计算法获取关键点间相对位置关系,判断作业人员的行为是否存在危险。姿态估计模型可达47.3m AP。3)带电作业人员与带电体的安全测距。通过融合目标检测结果与激光雷达获取的三维点云,得到二维目标点在三维空间中的位置信息,进而完成测距。原始点云数据非常稀疏,当二维目标点缺乏对应的三维信息时,通过改进的MSG-CHN深度图补全网络预测目标点的三维坐标。针对点云数据的稀疏且不规则分布问题,在原始网络的深度分支加入稀疏不变卷积,利用掩码在每一层卷积时预测稀疏深度特征与置信度,降低网络对不同稀疏程度输入的敏感性。针对RGB分支使用的简单手动下采样未充分引导深度预测的问题,在该分支增加注意力机制提升对图像边缘和语义特征的提取功能。在kinect＿leap和KITTI数据集上的实验表明,注意力机制与稀疏不变卷积的结合可以使网络在3.46M模型尺寸下获得最优的预测结果。改进后的算法在两个数据集中精度分别为130mm和801mm,相比原始网络分别提升26mm和117mm。4)手部操作状态可视化。本论文通过实时重建深度图补全后的人手信息,实现手部操作状态可视化。使用Mobrecon算法实时获取目标检测后的手部轮廓信息,将轮廓部分对应的深度图反投影回三维点云,并基于PCL库完成手部实时重建工作。在智能安全监测中需要实时返回作业现场的安全状况,这对算法和边缘设备的算力提出了更高的要求。本论文基于无人机平台完成上述算法,实时分析带电作业人员的安全状态,一旦发现违规现象,可立即使用音响设备发出警报。经测试,监控系统在同时开启目标检测与姿态估计的情况下推断速度可达25FPS,结合激光雷达实现安全测距可达15FPS。三维重建速度为10FPS。