基于神经辐射场的动态人体三维重建方法研究

作     者：谢小龙 

作者单位：南昌大学 

学位级别：硕士

导师姓名：刘捷;李渭

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人体重建 神经辐射场 条件变分自动编码器 特征融合 网格优化 

摘      要：三维人体重建旨在从二维图像或视频数据中创建人体的三维几何模型,在游戏、虚拟试衣、动画制作和VR/XR等领域有着重要的研究和应用价值。目前,一些研究方法依赖多相机视角或昂贵的相机阵列来捕获多视角图片集,通过神经辐射场技术实现隐式重建渲染。然而,这类方法主要针对静态场景,并不直接适用于动态场景中的目标,尤其是移动中的人体对象。此外,从这种稀疏数据集建模动态人体和精细的服装变形是充满挑战性的。部分方法利用深度数据进行三维人体建模,在计算效率、网格一致性以及分辨率和拓扑的灵活性方面存在局限性。例如,使用隐式函数重建形状并提取每帧的显式网格需要高昂的计算成本,且难以保证跨帧的连贯网格。为了克服这些局限性,本文开展了针对多视角人体渲染效果提升以及从2D移动人类单目视频渲染重建人体的研究。 (1)提出了一种非刚性调节神经辐射场方法,有效提升新视角和新姿势渲染质量。该方法通过整合线性混合蒙皮函数将相机射线采样点从姿势空间映射到规范空间,并采用条件变分自动编码器构建残差向量场,以纠正映射偏差。实验结果证明,当前方法显著提升了人体几何形状和纹理细节的捕获精度,在ZJU-Mocap和H36M数据集上相较于基线模型取得了更好的效果。 (2)提出了非刚性变形场与2D-3D特征融合场模块,优化基于Ne RF的人体渲染重建流程,实现减少多视角动态人体重建中的伪影和视角不一致性。其中非刚性变形场有效提升了规范空间中人体姿势的映射精度,而2D-3D特征融合场通过提取场景中的二维图像特征和三维特征显著提升了重建质量。 (3)提出了一种用于从单目2D视频对穿着衣服的人类进行3D建模的新方法,实现从隐式Ne RF模型中导出带纹理的高保真Mesh模型。所提方法在第一阶段定义了一个神经场实现对动态人体进行建模,并在第二阶段导出粗糙网格并进行迭代细化,同时基于多视角渲染图片学习网格模型的纹理。能够在实现逼真的人体渲染的同时,快速生成任意姿势的带纹理网格模型。所提方法结合了神经场和显式网格建模的优点,以实现高效且详细的人体建模。 本文通过改进基于SMPL模板的动态人体重建方法中的姿势空间到规范空间的映射过程,提取二维与三维特征进行融合,增强信息细节以提升渲染效果,并实现了从隐式Ne RF模型导出显式带纹理Mesh模型的过程。实验证明,本文提出的研究方案能有效提升人体渲染图像的质量,并导出高质量带纹理人体Mesh模型。