基于视觉和IMU的增强现实交互系统实现与应用

作     者：任阑珊 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：张洪刚

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视觉惯导 增强现实 平面检测 特征提取 手部识别 

摘      要：近年来,随着元宇宙的概念提出,同步定位及建图技术(Simultaneous Localization and Mapping,SLAM)与增强现实(Augmented Reality,AR)作为该领域的底层技术,成为了主要的研究方向。对这两方面深入的研究和探讨对于人工智能以及元宇宙未来的发展和实际的应用都有非常重大的意义。由于纯视觉的SLAM算法受到了光照变化及弱纹理等多方面的限制,导致其在商业应用中无法获得稳定且良好的表现。而SLAM和惯性测量单元(Inertial Measurement Unit,IMU)结合的视觉惯导系统由于IMU提供的加速度和角速度信息的补充更加稳定,是比较火热的研究方向。本文在对相关领域目前的已有研究做了深入调研后,设计并实现了基于视觉惯导系统的增强现实交互系统,其后续具有很大的发展空间和应用价值。本文的主要工作有以下三点:首先,本文设计并实现了 IMU和SLAM紧耦合的视觉惯导系统,并对系统的特征提取、位姿计算以及后端的联合姿态优化部分分别做了改进。为满足与后续增强现实工程结合时实时性的需要,本文使用并行线程的方式对系统进行了加速。在保证准确率的基础上,有效的提高了系统的运行效率。其次,针对增强现实系统,本文提出了优化后的平面检测算法,通过大量不同形态下的点云数据测试,可以高效的识别点云中的最大平面,为增强现实模块3D物体在真实环境中的展示提供了良好的基础。最后,本文设计并实现了交互模块的两种功能切换,支持手部识别以及脸部识别两个功能,设计了 SLAM系统和增强现实模块以及交互功能之间的信息传递。并为了保证系统的实时性交互,通过大量测试进行参数调整,保证其实现效果。