DextrAH-G

DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics进阶

英伟达的臂手灵巧抓取系统：全在仿真里训练，只看深度图就能连续抓取搬运。

DextrAH-G 是英伟达联合斯坦福、犹他大学、伯克利研究者于 2024 年 7 月发布的灵巧抓取方法，发表于 CoRL 2024。它控制 KUKA 机械臂加 Allegro 灵巧手共 23 个电机，难点在于动作维度高、仿真到真机有差距、还要防碰撞和守关节限位。做法分三步：在 Isaac Gym 里用强化学习训练能看到物体真实位姿等特权信息的教师策略；蒸馏成只看深度图的学生策略；零样本部署到真机。关键是策略输出不直接下发电机，而是交给几何织物（Geometric Fabrics，英伟达的反应式运动生成方法）执行，由它负责避障、限位和保持姿态，既保护硬件也便于强化学习探索。

例子在装箱测试中，DextrAH-G 只靠一台固定在桌边的 RealSense 深度相机连续抓取、搬运物体，256 次尝试成功率 87%，每次抓放循环约 10.7 秒。

相关: Geometric Fabrics、灵巧操作、教师-学生蒸馏、特权信息、仿真到现实迁移、Isaac Gym
来源: DextrAH-G (arXiv:2407.02274)
DextrAH-G 项目主页
信息截至: 2024-10