Visual Dexterity（视觉手内重定向）

MIT 用一台深度相机让低成本灵巧手在空中实时翻转没见过的物体。

Visual Dexterity 是 MIT CSAIL Improbable AI Lab 的 Tao Chen、Pulkit Agrawal 等人的工作，2022 年 11 月上线 arXiv，2023 年刊于 Science Robotics。手内重定向指不借助桌面，只靠手指把物体转到任意目标朝向，难在接触复杂、物体会被手挡住。它先在仿真里用强化学习训练一个能读取物体真实状态的「教师」，再蒸馏给只看深度相机点云的「学生」（用稀疏卷积网络处理，约 12 Hz 实时控制）。训练用了约 150 个物体，硬件是开源的 D'Claw 三指（9 自由度）或四指手，整套不到 5000 美元，还能在手掌朝下、要对抗重力时完成翻转，中位用时约 7 秒。它说明仿真训练加视觉输入可以泛化到新形状物体，是 Dactyl 之后手内操作的代表工作。

例子机器人手掌朝下悬空握着一只训练时没见过的塑料鸭子，只凭深度相机点云把它转到指定姿态；鸭子在 56% 的试次中掉落，没掉落时约 75% 能转到误差 23 度以内。

也叫

视觉灵巧性、Visual Dexterity

相关

手内操作、灵巧操作、教师-学生蒸馏、仿真到现实迁移、Dactyl（OpenAI 魔方灵巧手）、HORA（手内物体旋转 + RMA）

来源

Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes (arXiv 2211.11744)
Visual Dexterity 项目主页

信息截至

2023-11