具身智能新手名词表English

RoboSet 数据集

RoboSet进阶

CMU 与 Meta 发布的厨房场景真机多任务数据集,每帧 4 个视角。

RoboSet 是卡内基梅隆大学与 Meta AI 在 RoboAgent 项目(2023 年)中公开的真实机器人数据集,场景以家庭厨房活动为主。数据集页面给出的规模是 2.85 万条轨迹,其中 9500 条由操作员用 Oculus Quest 2 手柄遥操作采集,1.9 万条通过动觉示教回放(在重新摆放的场景里重放已有轨迹)得到。每帧有 4 个相机视角,任务按「活动」组织,每个活动含 4–6 个带语言指令的子任务。RoboAgent 用其中约 7500 条轨迹训练 MT-ACT 策略,学会了 12 种操作技能。数据以 HDF5 格式发布,采用 MIT 许可。

例子用 h5py 打开一条 RoboSet 轨迹,可以读到 4 个视角的图像、机械臂状态、对应动作和这段任务的语言指令。

也叫
RoboSet
相关
RoboAgent(MT-ACT)、动作分块、遥操作、拖动示教、多视角、HDF5 格式
来源
RoboSet 数据集页面
RoboAgent 项目主页
信息截至
2023-09

在完整名词表里查看 →