遥操作
Teleoperation入门必知人通过主臂、VR 等设备实时操控机器人;具身智能里主要用它采演示数据。
遥操作原意是在一定距离外操作机器,是「远程控制」在学术和技术场合的说法。在具身智能里,它是采集演示数据的主力手段:操作员通过主从臂、VR 头显、3D 鼠标或动捕手套下指令,机器人照做,系统同步记下相机画面、关节状态和每一步的动作指令,得到模仿学习要用的「观测-动作」对。数据直接在机器人身上录,训练出的策略可以原样部署,不存在人手和机械手不一致的问题;代价是要有真机和熟练的数采员,速度慢、成本高。UMI 这类手持采集设备和从人类视频学习,都是为了绕开这个瓶颈。
例子ALOHA 双臂平台用「主从臂」遥操作:操作员带动一对主臂,另一对从臂实时跟随,整套硬件预算约 2 万美元;ACT 在多数任务上只用 50 条这样录下的演示(约 10–20 分钟),就学会了打开调料杯盖、把电池插进遥控器等精细动作。
- 也叫
- 遥控操作、远程操作、teleop、Remote Operation
- 相关
- 演示数据、主从臂遥操作、VR 遥操作、数采员、模仿学习、通用操作接口
- 来源
- Wikipedia: Teleoperation
ALOHA / ACT 项目页: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
Zhao et al. 2023: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (arXiv 2304.13705)