人-物交互

研究人怎样拿、推、打开、使用物体，是机器人向人学动作的重要素材。

人-物交互（HOI）研究人和物体之间发生了什么动作。在计算机视觉里，经典任务是 HOI 检测：在图像中框出人和物体，并判断二者关系，输出「人、动作、物体」三元组，如「人、骑、自行车」，代表数据集是 WACV 2018 的 HICO-DET。之后研究扩展到视频、3D 和 4D，关注手怎样接触物体、物体怎样随之运动，如 CVPR 2022 的 HOI4D 含 240 万帧第一人称 RGB-D 视频、800 个物体实例。对具身智能来说，人的交互视频比机器人数据多得多、便宜得多，从中提取接触位置、手部轨迹和可供性（物体能被怎样使用），是给机器人扩充训练数据的重要路线。缩写 HOI 有时也指手物交互。

例子从大量人开冰箱的视频里，识别出「人、拉开、冰箱门」的交互和手握把手的位置，再用来教机器人开门。

也叫

人物交互

相关

手物交互、可供性、人类视频数据、HOI4D 数据集、第一人称视频、OMOMO 人-物交互动作数据集

来源

Learning to Detect Human-Object Interactions (HICO-DET, arXiv 1702.05448)
HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction (arXiv 2203.01577)