GVHMR

GVHMR: World-Grounded Human Motion Recovery via Gravity-View Coordinates进阶

从单目视频恢复人在世界坐标系里 3D 动作的方法。

GVHMR 是浙江大学 ZJU3DV 团队发表于 SIGGRAPH Asia 2024 的方法：输入单目视频，输出 SMPL-X 人体参数（一种参数化人体模型）和人在世界坐标系里的运动轨迹。难点在于相机本身也在动，只在相机坐标系里估姿态，说不清人往哪走、身体是否竖直。它为每帧定义「重力-视角」坐标系：一根轴对齐重力，另一根参考相机视线，在其中预测人体朝向，再用视觉里程计或陀螺仪得到的相机相对旋转换回世界坐标。它逐帧并行预测，避免了 WHAM 这类自回归方法在长视频上的误差累积。具身领域常用它从网络视频里提取人体动作，再重定向给人形机器人。