通用操作接口

拿手持夹爪录演示、不用真机也能训练可部署策略的采集方案。

UMI 由斯坦福、哥伦比亚大学和丰田研究院在 2024 年 2 月提出（Cheng Chi、Shuran Song 等）。人手持 3D 打印的平行夹爪干活，夹爪上装一台 155° 鱼眼 GoPro，两侧小镜子提供额外视角；事后用视觉 SLAM 算法 ORB-SLAM3 结合 GoPro 自带的 IMU（惯性测量单元）还原夹爪在空间中的 6 自由度位姿，用标记点跟踪手指开合，得到动作标签。手持夹爪和机器人上装的夹爪、相机位置一致，所以采集时不需要机器人在场，可以去家里、户外等真实场景录。再配合延迟匹配（补偿不同机器人相机和电机的时间延迟）和相对轨迹动作表示，同一策略能部署到 UR5e 和 Franka 上。

例子论文用 UMI 数据训练的策略完成了摆放杯子、洗碗、把物体甩进对应的筐和双臂叠衣服等任务；夹爪物料成本约 73 美元，GoPro 及配件约 298 美元；在摆杯子任务上每小时能采约 111 条演示，是 SpaceMouse（3D 鼠标）遥操作的 3 倍多。

也叫

UMI 夹爪、UMI 手持采集、UMI Gripper

相关

手持夹爪采集、无本体采集、FastUMI、UMI on Legs、DexUMI、RDT2

来源

Chi et al. 2024: Universal Manipulation Interface (arXiv 2402.10329)
UMI 项目页

信息截至

2024-03