手眼协调

用相机看到的信息实时引导机械臂和夹爪动作，边看边调的能力。

手眼协调原本描述人和动物的能力：眼睛看到目标，手就能准确伸过去抓住，并边看边修正。放到机器人上，指把相机图像和机械臂动作连成闭环。传统做法先做手眼标定，算出相机和机械臂之间的坐标变换，再把检测到的目标位置换算成手臂坐标一次性执行，标定稍有偏差就会抓偏。2016 年 Levine 等人在谷歌用 6 到 14 台机械臂、两个月采集了 80 多万次抓取尝试，训练卷积网络直接从单目图像判断某个夹爪运动能否抓成功，不需要相机标定，还能在抓取过程中持续调整，是端到端学习手眼协调的代表工作。注意它和手眼标定是两个概念。

例子物体在抓取途中被碰歪了，机器人根据相机画面不断修正夹爪位置，而不是按一开始算好的坐标直接伸过去。

也叫

眼手协调

相关

手眼标定、视觉伺服、视觉运动策略、闭环、Google 机械臂农场（大规模抓取自监督）、抓取

来源

Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection (arXiv 1603.02199)