3D 点跟踪

在视频里持续追踪任意像素点，给出它在三维空间中的运动轨迹。

3D 点跟踪是任意点跟踪（在视频里跟踪任意指定像素）的三维版本：给定视频和若干查询点，输出每个点在每一帧的三维坐标以及是否被遮挡。2D 跟踪分不清是物体在动还是相机在动，也没有深度；3D 轨迹能直接描述物体在空间里怎样移动和旋转。SpatialTracker（CVPR 2024）借单目深度估计把像素抬到三维再跟踪；后续的 SpatialTrackerV2（ICCV 2025）把点跟踪、单目深度和相机位姿估计合进一个前馈模型，只用单目视频即可工作。评测基准有 TAPVid-3D。在机器人学习里，3D 点轨迹可作为人类视频到机器人动作的中间表示，例如 General Flow 按语言指令预测物体上各点的未来 3D 轨迹来指导操作。

例子拍一段人拉开抽屉的视频，用 SpatialTrackerV2 跟踪把手上的点，得到它沿直线外移的 3D 轨迹，可据此推断抽屉的滑动方向，再让机器人沿同一方向拉。

也叫

三维点跟踪、TAP-3D、Tracking Any Point in 3D、SpatialTrackerV2

相关

任意点跟踪、CoTracker、场景流、单目深度估计、4D重建

来源

SpatialTrackerV2: 3D Point Tracking Made Easy (arXiv 2507.12462)
TAPVid-3D: A Benchmark for Tracking Any Point in 3D (arXiv 2407.05921)
General Flow as Foundation Affordance for Scalable Robot Learning (arXiv 2401.11439)

信息截至

2025-10