基于单视图的带纹理三维人体网格参数化重建
Parameter reconstruction of 3D textured human mesh based on single image作者机构:合肥工业大学数学学院安徽合肥230601 安徽中医药大学医药信息工程学院安徽合肥230012
出 版 物:《合肥工业大学学报(自然科学版)》 (Journal of Hefei University of Technology:Natural Science)
年 卷 期:2024年第47卷第3期
页 面:347-353页
学科分类:08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程]
基 金:国家自然科学基金资助项目(62172135) 合肥工业大学校级教研资助项目(KCSZ2022034) 安徽中医药大学教研重点资助项目(2020xjjy_zd005)
主 题:三维人体重建 深度学习 蒙皮多人线性(SMPL)模型 形状姿态 纹理
摘 要:针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。