基于VSLAM的室内场景重建与虚实遮挡的边缘优化方法

作     者：刘佳 张增伟 陈大鹏 

作者机构：南京信息工程大学自动化学院 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61773219,62003169) 江苏产业前瞻与关键技术重点项目(BE2020006-2) 江苏省自然科学基金青年基金(BK20200823) 

主　　题：增强现实 虚实遮挡 视觉同步定位与建图 三维重建 图像分割 

摘      要：在增强现实环境中， 虚拟物体和真实物体的融合效果经常受到虚实遮挡的影响. 为了提升虚实遮挡效果， 提出一种室内场景下基于视觉同步定位与建图(VSLAM)的三维物体稠密重建与分割的方法. 首先利用YOLOv5s和ORB-SLAM2检测并去除环境中的动态特征点， 只利用静态特征点构建准确的点云地图; 然后使用OPTICS聚类算法约束体素边缘并进行网格分割; 最后通过结合形状先验算法对分割后的点云进行预测重建， 使分割的物体边缘更加准确. 在多个数据集上检验了所提方法， 并执行动态特征点去除和虚实遮挡实验. 结果表明， 在动态场景下相比传统ORB-SLAM2， 相机的定位精度提升了92.62%， 点云的重建精度提升了35.00%， 说明该方法可以准确地定位虚拟物体和真实物体的遮挡边缘然后进行分割， 同时保持形状化的重建结果， 使得虚实遮挡效果更加真实自然.