单相机动态三维人体重建

作     者：朱海宇 

作者单位：南京大学 

学位级别：硕士

导师姓名：于耀

授予年度：2017年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：SCAPE 非刚性重建 单相机 运动分类 从运动到结构 

摘      要：尽管三维人体建模在虚拟现实、3D游戏等多个领域有广泛的应用,但由于人体运动的复杂性,如何低成本便捷地获取高质量人体模型一直是学者们不断探索的问题。目前获取高质量人体模型主要还是通过激光雷达或者深度相机,但是这些设备不但价格高昂而且体积较大便携性很差。于是,有学者提出用多相机系统重建人体模型,可是多相机系统环境搭建比较繁琐。不光需要对相机的位置进行标定还需要把所有相机进行帧同步。此外,投入更多的相机也使得重建系统的成本居高不下,这也限制了多相机人体重建系统的应用与推广。随着手机等移动设备成像质量的不断提高,如何用单相机获取高质量人体模型逐渐成为学者们热衷探讨的问题。人体运动的复杂、身体部位的遮挡使得单相机三维人体重建充满挑战。目前基于单相机重建的方法大多需要人为地添加一些约束,因而无法做到自动化重建出人体模型。在运动中,人体模型局部区域内点的运动具有较高的相似度,并且随着人体的不断运动,我们有可能通过相机捕捉到之前被遮挡的信息。我们设计了一个运动学分类器,对运动中的人体根据运动信息将其划分成许多块,在较短的时间内块表面的形变可以忽略不计,因而将非刚性重建问题转化成刚性重建问题。我们把SCAPE模型和不同时刻得到的人体部位模型进行融合,并对SCAPE模型进行刚性成分和非刚性成分的分解,从而得到一个可驱动的三维人体模型。模型的刚性成分描述了人体的体型参数,而非刚性成分则描述了不同时刻下人体表面的细节信息。实验表明:我们的单相机动态人体自动重建系统不仅具有较高的鲁棒性,而且是第一个不需要人为添加约束就可以自动重建出完整三维人体模型的系统。