基于全局视觉的车间AGV手势调度研究

作     者：刘泽平 

作者单位：青岛大学 

学位级别：硕士

导师姓名：符朝兴

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 081102[工学-检测技术与自动化装置] 

主      题：AGV 全局视觉 视频拼接 YOLOv5 调度 

摘      要：随着工业自动化、数字化、智能化的发展,越来越多的智能工厂、数字化车间诞生,而其中的物流运输效率又备受关注。自动导引运输车(Automated Guided Vehicle,AGV)因其智能、高效、灵活的特点已逐渐成为现代工厂中主要的物流运输设备。AGV的导航和调度方式一直是提高其运输效率的关键,本文针对目前在半自动化工厂中AGV调度的人机交互方式较单调、操作不便等问题,研究了全局视觉导航方式下AGV的智能化手势调度,检测到员工的手势变化以调度AGV执行不同的任务。本文主要内容和创新点如下:(1)设计了一套双摄像头视频实时拼接算法。选用SURF算法提取图像特征点并用FLANN算法进行特征点匹配,对于匹配结果中的误匹配对,运用RANSAC算法进行剔除;采用动态加权融合算法解决了拼接图像中出现的拼接缝等问题;设计图像降采样和预计算拼接参数的方法保证了拼接视频的实时性。实验证明,本算法可成功获取车间的全景实时视频,为后文目标检测奠定了基础。(2)提出了一种图像拼接质量评价算法。利用VGG19网络模型的第一到第五卷积层提取原图像和拼接图像的特征图,由特征图计算两图像在每一层的Gram矩阵,由此矩阵可计算两幅图像在每一个卷积层的风格差异,以5层风格差异的平均值作为图像拼接质量的评价指标。经过对比试验,证明本文提出的评价算法可有效评价图像拼接的质量。(3)实现了AGV与手势的识别及定位。模拟车间环境,建立目标检测数据集,并针对数据量不足的情况对现有数据进行数据增强;选用Py Torch深度学习框架并基于YOLOv5算法训练目标检测模型。经测试,模型对AGV和手势的检测准确率均达到99.5%以上,模型的FPS为40,符合车间实际应用需求。(4)设计了AGV手势调度系统。应用栅格法建立了模拟环境的电子地图并用A*算法实现了AGV的路径规划;对员工位置存在的误差进行拟合校正,并对调度系统出现的手势误识别与重识别和AGV停车位姿不规范等问题进行解决。实验证明,本文提出的AGV手势调度系统实现了以员工手势的变化调度AGV的功能,灵活性和智能化程度高,实现了友好的人机交互,对智能化车间运输效率的提高具有较强的借鉴意义。