RT-Trajectory

RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches进阶

用画在图像上的轨迹草图代替语言指令，告诉机器人动作该怎么走的策略

Google DeepMind 联合加州大学圣地亚哥分校、斯坦福和 Intrinsic 于 2023 年 11 月发布，入选 ICLR 2024 Spotlight。语言指令只说「做什么」，对训练中没见过的新任务往往不够具体。RT-Trajectory 改用「轨迹草图」作为条件：把末端执行器要走的路径画成一条曲线叠在相机图像上，用颜色表示时间先后和高度，并标出夹爪开合的位置。训练时不需要人工标注，直接把每条演示里记录的末端位置投影到画面上，事后生成草图（hindsight）。策略骨干沿用 RT-1。测试时草图可以由人手绘、从人类视频中提取，或由大模型生成。在 7 个训练中没见过的任务上，它明显优于语言条件的 RT-1、RT-2 和以目标图像为条件的基线。