基于华为AI硬件平台的无人车视觉感知系统开发

作     者：张雪 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：刘清河

授予年度：2021年

学科分类：082304[工学-载运工具运用工程] 08[工学] 080204[工学-车辆工程] 0802[工学-机械工程] 0823[工学-交通运输工程] 

主      题：动态场景SLAM MobileNet-YOLO 单目相机 Atlas 200 DK 

摘      要：感知系统是无人车实现自动驾驶各项功能的基础,其中基于视觉传感器的感知技术由于低成本的优点被广泛应用于无人车辆的目标检测和自定位任务。目前基于视觉的目标检测技术计算量较大,难以用于性能有限的车载计算平台;经典SLAM技术一般进行了场景静态假设,往往在包含动态物体的真实交通场景中定位精度较差;并且智能硬件平台几乎被国外垄断,发展自主智能硬件平台迫在眉睫。本文基于Atlas 200 DK智能硬件平台使用单目相机对无人车轻量级目标检测和动态场景SLAM问题展开研究。首先,本文对基于卷积神经网络的轻量型的目标检测算法进行了研究,为了降低卷积操作的计算量,本文使用深度可分离卷积代替标准卷积,使用Mobile Netv2精简YOLO网络结构,改进后的Mobile Net-YOLO可以更好的适应嵌入式平台,在Atlas 200 DK中测试速度提升了约40%。然后,本文搭建了视觉里程计系统,研究了针孔相机模型,得到了世界坐标系与像素坐标系的变换关系;研究了相机标定方法,并完成了本文实验中使用的Kinect2相机的标定。本文使用ORB特征进行图像特征点的提取和描述,并使用四叉树对ORB特征点进行了均匀分布改进,然后使用RANSAC对特征匹配结果进行优化,根据图像间特征匹配关系,通过对极约束和Pn P法完成相机的位姿估计。最后,为了提高经典SLAM技术在动态场景下的定位精度,本文使用Mobile Net-YOLO进行动态目标的分割改进SLAM前端,利用分割之后的静态背景帧进行特征提取和位姿估计。本文在Atlas 200 DK上验证了本文系统的实时性,可以达到10Hz左右的运行速度;使用TUM动态场景数据集对本文的系统和ORB-SLAM3进行了定位精度对比,实验结果显示本文的系统有效的提高了动态场景下的定位精度;另外本文还搭建了室外数据采集平台,评价了本文系统在室外场景下的定位精度。