具身智能新手名词表English

自主数据采集

Autonomous Data Collection进阶

让机器人自己提出任务、动手尝试并记录结果,少用或不用人工遥操作来积累数据。

自主数据采集指机器人在没有人逐步操控的情况下,自己决定做什么、自己执行并记录数据,人只负责偶尔干预和安全监督。遥操作采数据要一人盯一台,成本随数据量线性增长;让机器人自己采,机器越多数据越多。难点有三:要能提出有意义且多样的任务;要能自动判断成功还是失败;自主数据成功率低、质量参差,需要能从不完美数据中学习的方法。早期例子是谷歌 2016 年的机械臂农场,靠自动判定的抓取结果当标签;谷歌 DeepMind 的 AutoRT 用视觉语言模型理解场景、用大语言模型提议任务,调度 20 多台机器人采集;伯克利的 SOAR 用 VLM 提议和评判任务,在 5 个桌面环境里自主收集了 3 万多条轨迹来改进策略。

例子AutoRT 让 20 多台机器人在多栋楼里运行,由大语言模型提出任务,通过遥操作和自主策略共采集约 7.7 万条真机轨迹。

也叫
机器人自主采集、自主采集
相关
Google 机械臂农场(大规模抓取自监督)、AutoRT、数据飞轮、自我提升、真机强化学习、成功检测器
来源
AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents (arXiv 2401.12963)
Autonomous Improvement of Instruction Following Skills via Foundation Models (SOAR, arXiv 2407.20635)
Deep Learning for Robots: Learning from Large-Scale Interaction (Google Research Blog)

在完整名词表里查看 →