具身智能新手名词表English

手持夹爪采集

Handheld Gripper Data Collection常用

人手拿着装了相机的夹爪直接干活,录下画面和夹爪轨迹当机器人训练数据。

手持夹爪采集是一种不需要真机器人的采集方式:采集员手握一个和机器人末端同款的夹爪,夹爪上装相机,直接在真实环境里完成任务,事后从视频里恢复夹爪的位姿轨迹和开合宽度,作为动作标签。代表是斯坦福、哥伦比亚大学和丰田研究院在 RSS 2024 发表的 UMI:腕部 GoPro 配 155 度鱼眼镜头和两侧反光镜,用视觉-惯性 SLAM(同时定位与建图)追踪轨迹。它比遥操作便宜、便携,能带出实验室采集,UMI 报告采集速度是遥操作的 3 倍以上。前提是训练和部署时夹爪与相机视角保持一致。

例子UMI 用手持夹爪采集洗碗、双臂叠衣服、扔物体等演示,训练出的策略直接部署到机械臂上,能在没见过的环境和物体上完成任务。

也叫
手持式采集、手持采集器、UMI 式采集
相关
通用操作接口、FastUMI、松灵 Pika 采集套件、无本体采集、采执同构、DexUMI
来源
Universal Manipulation Interface (UMI) 项目主页
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots (arXiv 2402.10329)

在完整名词表里查看 →