AnyTeleop

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System进阶

用普通相机捕捉人手动作，就能遥操作多种机械臂和灵巧手的通用视觉遥操作系统。

AnyTeleop 是加州大学圣地亚哥分校（UCSD）与英伟达的 Yuzhe Qin 等人 2023 年 7 月提出的遥操作框架，发表于 RSS 2023。操作者不用戴手套或外骨骼，只要对着相机做动作：系统从图像估计人手和手腕姿态，再经动作重定向（把人手关节映射到结构不同的机器人手上）转成灵巧手和机械臂的指令，并做碰撞规避。以往视觉遥操作系统往往绑定某一款硬件，AnyTeleop 用同一套系统支持多种机械臂、灵巧手和相机配置，既能接真机，也能接 SAPIEN、Isaac Gym 等仿真器，还支持浏览器远程查看和多机器人协作。论文报告，在相同硬件上它比专为该硬件设计的旧系统表现更好。重定向模块已开源为 dex-retargeting 库。