手物交互

研究人手怎样接触、抓握和操作物体，包括估计手和物体的三维姿态与接触。

手物交互是视觉和机器人领域专门研究「人手如何接触、抓握和摆弄物体」的方向，比泛指全身的人-物交互更聚焦在手上。典型任务有：同时估计手的姿态（常用 MANO 网格）和物体的 6D 位姿、推断接触区域和抓握类型、识别手在做什么动作，以及生成合理的抓握。代表数据集有 DexYCB（CVPR 2021，标注手抓 YCB 物体时的 MANO 手姿和物体 6D 位姿）、HOI4D（CVPR 2022，240 万帧第一人称 RGB-D 视频，16 类物体共 800 个实例）、ARCTIC、OakInk 等。对机器人来说，人手是现成的灵巧操作示范：从人类视频里提取手和物体的轨迹，可以转成灵巧手动作或抓取目标；DexYCB 还专门面向人把物体递给机器人的交接场景。

例子从一段第一人称做饭视频里，用 HaMeR 重建手的三维姿态、用 FoundationPose 跟踪锅铲位姿，得到手握铲柄的位置和翻炒轨迹，再重定向成灵巧手的示范数据。

也叫

手-物交互、手与物体交互、HOI（手物交互）

相关

手部姿态估计、6D位姿估计、DexYCB 数据集、HOI4D 数据集、ARCTIC 数据集、人类视频数据

来源

HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction (arXiv:2203.01577)
DexYCB: A Benchmark for Capturing Hand Grasping of Objects (arXiv:2104.04631)