面向矿山挖掘机的目标检测和位姿测量技术研究

作     者：兰璐 

作者单位：吉林大学 

学位级别：硕士

导师姓名：赵克利

授予年度：2024年

学科分类：081901[工学-采矿工程] 0819[工学-矿业工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：工程机械 挖掘机 感知系统 目标检测 位姿测量 

摘      要：在矿山作业环境下,挖掘机已经成为不可缺少的一部分,服务于智慧矿山的整体建设,其智能化、自主化已成为未来主要发展趋势。挖掘机的自主作业技术主要由环境感知、轨迹规划和跟踪控制组成。其中,对作业环境的感知是轨迹规划和跟踪控制的前提和基础,感知性能的好坏直接影响自主工作的质量。本文依托校企合作项目,以矿石堆和矿用卡车作为感知对象,对环境感知中的目标检测和位姿测量技术进行相关研究,对提高作业效率、实现挖掘机自动化作业具有重要意义。 (1)建立了矿山挖掘机作业环境的感知系统硬件平台和仿真平台。根据作业环境背景,选择了相机、激光雷达和IMU作为感知硬件设备;为了降低实际硬件测试的成本和风险并验证算法和系统的可行性,在ROS-Gazebo中搭建了环境感知仿真平台,完成了挖掘机、传感器和作业目标模块XACRO文件的创建和数据采集工作,对仿真平台的硬件层、算法层和应用层进行了规划。 (2)建立了针对矿山挖掘机作业场景的图像数据集。针对目前公开的露天矿山工作场景数据集较少、作业场景差异大的缺点,进行了数据集制作;本文所制作的数据集包括了真实场景和仿真场景的数据;并通过应用数据增强来扩充数据集,增加数据的多样性,提高模型的鲁棒性和泛化能力。 (3)提出了基于改进的YOLOV5s矿山挖掘机目标检测算法。针对现有网络对特征提取能力不突出的问题,在CBS基础卷积模块中,首先引入视觉激活函数FRe LU替代了Si LU激活函数,增强模型提取不规则形状特征的表达能力;在原有的Backbone模块和CBS结构中的BN层后面加入了ECA注意力机制,确保在只增加少量参数的情况下,提升对特征目标的检测权重,改造后的CBS基础卷积模块变成了Conv＿BN＿ECA＿FRe LU;通过对原YOLOV5s网络和改进后的YOLOV5s网络模型进行训练和测试,验证得到本文改进后的YOLOV5s网络模型精确率P提升了6.3%,召回率R提升了14.1%,m AP@.5提升了5%,m AP@.5:.95提升了23.6%,定位精度和分类精度得到了有效地提高,神经网络的效果得到了优化。 (4)设计了一种挖掘机作业场景的位姿测量算法,涉及双目位姿测量和激光雷达位姿测量。首先基于MATLAB标定的相机参数完成了图像极限校正,在通过改进的目标检测模型部署到位姿测量算法中,完成目标检测,并输出了检测框像素坐标;其次在目标框内通过SGBM匹配算法进行了区域立体匹配,并结合三角测距原理进行深度距离计算;最后通过像素点、视差值和重投影矩阵Q计算得到目标的三维坐标。激光雷达位姿测量中,在时间和空间上同步的情况下,通过激光雷达采集点云,对点云数据进行了地面提取、分割处理获得目标物体的点云坐标,实现了激光雷达位姿测量。 为了验证本文目标检测算法和位姿测量算法的有效性。在室内设置了不同深度距离,进行了实验验证分析;在仿真平台中,利用模拟的传感器采集了图像和点云数据,基于仿真数据,验证了挖掘机目标检测和位姿测量算法的效果,为算法的实际应用奠定了基础。