CoTracker

CoTracker: It is Better to Track Together进阶

Meta 开源的视频点跟踪模型，能联合跟踪大量像素点，包括被遮挡的点。

CoTracker 由 Meta AI 与牛津大学 VGG 组的 Karaev 等人提出，2023 年 7 月上 arXiv，发表于 ECCV 2024。它属于任意点跟踪：给定视频里任意像素，输出它在后续每一帧的位置和是否可见。以往方法大多逐点独立跟踪，CoTracker 用 Transformer 把大量点放在一起联合跟踪，利用点与点之间的相关性，对遮挡和移出画面的点更稳，并按短时间窗口滑动处理，可以在线运行。2024 年 10 月的 CoTracker3 简化了结构，改用已有模型给无标注真实视频生成伪标签来训练，所用训练数据比此前方法少约 1000 倍。机器人学习里常用它给演示视频自动标注点轨迹。