三维全景漫游中的动态物体消除与视图修补方法

作     者：姬晓鹏 任鑫芳 周震震 黄贻煜 甄佳楠 周黎 周晓巍 章国锋 Ji Xiaopeng;Ren Xinfang;Zhou Zhenzhen;Huang Yiyu;Zhen Jianan;Zhou Li;Zhou Xiaowei;Zhang Guofeng

作者机构：浙江大学CAD&CG国家重点实验室杭州310058 中国南方电网有限责任公司超高压输电公司广州510663 中南电力设计院武汉430071 商汤研究院杭州311215 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第8期

页      面：1147-1159页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：科技创新2030—“新一代人工智能”重大项目(2020AAA0108901) 国家自然科学基金(61822310) 

主　　题：全景漫游 物体消除 图像修补 虚拟现实 

摘      要：高真实感的三维全景漫游通常需要对场景进行精准的三维建模,但目前技术对复杂工业场景下非规整区域及设施进行高质量的三维建模仍存在很多困难和挑战.为解决复杂工业场景下的三维全景漫游问题,提出一套基于虚拟视点合成的三维全景漫游系统.首先以全景视频为输入,利用三维场景重建提供的多视点和深度信息合成全景漫游中的虚拟视点图像,增强三维全景漫游中视点切换的临场感;其次针对虚拟视点合成结果中存在的移动人体、空洞等质量问题,提出一种动态干扰物体的消除与视点修补方法,基于实例分割结果和多视点信息对缺陷区域进行修补得到目标视图.在室内外场景的实验结果表明,所提方法不依赖于高精度的三维重建结果,且可以有效地利用多视点信息合成高质量的虚拟视点图像,提升电网系统等非规则复杂工业场景下的全景漫游体验.