三维人体表面重建，是从视觉传感器采集的数据中，利用计算机视觉和图形学的方法，估计人体的姿态与体态，重建人体表面与服装细节的过程。该任务包含两个子任务：人体姿态与体态估计（Human Pose and Shape Estimation）以及着装人体表面重建（Clothed Human Surface Reconstruction）。前者的一般做法是从图像或视频中估计参数化人体模型；后者则希望尽可能还原真实的人体表面几何细节与纹理信息，建立现实人物的数字孪生。三维人体表面重建在混合现实、虚拟会议、影视制作等方面有着重要的应用。
长期以来，三维人体表面重建在计算机视觉和图形学领域是一个较为困难的研究课题，其复杂性主要体现在人体姿态、体态、表面几何与纹理颜色的复杂多变。传统方法一般利用体积表示或者预设三角网格作为人体表征，以多目系统捕获的图像为输入，利用多目立体算法重建人体模型。我们致力于从三维人体表征出发，研究高效而实用的三维人体表示方法，从RGB相机、深度相机获取的图像或视频序列中，恢复人体表面形状。我们从空域、时域、频域等不同角度，探索三维人体表征的多种可能性，追求在重建精度与算法效率方面的共同提升。此外，我们关注重建的鲁棒性和算法的轻量化，致力于将研究成果转化到实际的应用当中。
图1. 三维人体表面重建示意图
主要相关论文
 |
An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction |
 |
Temporally Consistent Reconstruction of 3D Clothed Human Surface with Warp Field |
