OakInk 数据集

上海交大发布的手-物交互数据集，标注物体用途和双手操作过程

OakInk 是上海交通大学卢策吾团队的手-物交互数据集系列。第一代（CVPR 2022）中 Oak 为 1,800 个日常物体标注可供性（物体能被怎样用），Ink 记录人对其中 100 个物体的真实抓握并迁移到虚拟物体，共约 5 万条带使用意图的交互。第二代 OakInk2（CVPR 2024）转向双手完成复杂任务，含 627 段序列、401 万帧多视角图像，标注人体、双手和物体的 3D 位姿，并把任务分成可供性、原子任务、复杂任务三层。常用于手部姿态估计、抓取生成和双手动作合成。

例子OakInk2 的一段序列把一个复杂任务拆成拿起、倾倒、放下等原子任务，每一帧都标了双手（MANO 参数）和物体的 3D 位姿。

也叫

OakInk2、OakInk Dataset

相关

手物交互、MANO 手部模型、可供性、双臂操作、DexYCB 数据集、ARCTIC 数据集

来源

OakInk: A Large-scale Knowledge Repository for Understanding Hand-Object Interaction (arXiv 2203.15709)
OAKINK2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task Completion (arXiv 2403.19417)
OakInk2 项目主页

信息截至

2024-12