4D重建
4D Reconstruction (Dynamic Scene Reconstruction)进阶重建会动的三维场景:三维几何加上它随时间的变化。
4D 重建指从视频(单目或多视角)恢复随时间变化的三维场景,第四维是时间:既要知道场景长什么样,也要知道人、手和物体在每一时刻的形状与位置。NeRF、3D 高斯泼溅等静态重建默认场景不动,遇到运动物体会出现重影。一类做法是逐场景优化,如 Dynamic 3D Gaussians 让高斯点随时间移动旋转,4D Gaussian Splatting(CVPR 2024)用形变场预测每个时刻高斯的位移,在 RTX 3090 上以 82 FPS 渲染 800×800 画面;另一类是前馈式,如 MonST3R(ICLR 2025)把静态重建模型 DUSt3R 扩展到动态视频,逐帧直接输出点图。具身智能里,它用于从人类视频恢复手物交互的三维运动、构建可回放的数字孪生。
例子用手机拍一段人倒水的视频,经 4D 重建得到每一帧手、杯子和水壶的三维形状,可从任意视角回放,也能提取杯子的运动轨迹给机器人模仿。
- 也叫
- 动态场景重建、4D 高斯、4D Gaussian Splatting、动态三维重建
- 相关
- 3D高斯泼溅、神经辐射场、前馈式三维重建、DUSt3R、3D 点跟踪、4D 世界模型
- 来源
- 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering (arXiv 2310.08528)
MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion (arXiv 2410.03825)
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis (arXiv 2308.09713)