具身智能新手名词表English

眼动追踪 / 注视估计

Eye Tracking / Gaze Estimation进阶

测量人眼转动,并估计这个人此刻正在看哪里。

眼动追踪测量眼球相对头部的运动,注视估计则进一步算出视线落点,也就是人在看哪里。主流方法是用红外光照射眼睛,用相机同时拍下瞳孔中心和角膜上的反光点,由两者的相对位置推算视线方向;另一类方法用神经网络直接从普通图像回归视线。在具身智能里它主要有两种用途:一是采集示教数据时记录示教者的注视点,作为「该关注画面哪里」的额外信号,帮助策略把计算集中在关键区域;二是在人机交互中判断人的意图和注意对象。Meta 的 Project Aria 眼镜等头戴设备内置眼动追踪相机,采第一人称数据时可以一并录下注视信息。

例子Kim 等人(RA-L 2021)在遥操作时记录操作者注视点,训练出的策略在注视点附近用高分辨率图像、在周边用低分辨率图像,完成了机器人穿针这类高精度任务。

也叫
视线追踪、视线估计、注视点估计、Gaze Tracking
相关
第一人称视频、Project Aria 眼镜、人机交互、意图理解(隐式指令)、模仿学习、主动感知
来源
Wikipedia: Eye tracking
Gaze-based dual resolution deep imitation learning for high-precision dexterous robot manipulation (RA-L 2021)
Project Aria Gen 1 hardware specifications

在完整名词表里查看 →