6D位姿估计

从图像中算出物体相对相机的三维位置和三维朝向，共六个自由度。

6D 位姿估计是给定 RGB 或 RGB-D 图像，求刚体物体相对相机的 3 个平移量和 3 个旋转量，通常输出旋转矩阵加平移向量。按对物体了解多少，分实例级（见过这个具体物体及其 CAD 模型）、类别级（只知道它属于「杯子」这类）和面向新物体的方法，后者又分给 CAD 模型的 model-based 和只给参考图的 model-free。基准 BOP 自 2018 年起组织评测。英伟达 2023 年的 FoundationPose 用一个框架兼顾两种设定，还能连续跟踪。抓取、装配和 AR 都要用它：知道物体在哪、朝哪，才能算出夹爪该去哪。

例子桌上有一把已知 CAD 模型的电钻，位姿估计模型从 RGB-D 图像求出它在相机坐标系下的位置和朝向，再结合手眼标定结果，就能算出机械臂去抓握把的目标位姿。

也叫

物体位姿估计、6DoF 位姿估计、物体六自由度位姿估计、Object Pose Estimation

相关

位姿、FoundationPose、BOP 位姿估计基准、类别级位姿估计、位姿跟踪、ADD / ADD-S 位姿误差指标

来源

BOP: Benchmark for 6D Object Pose Estimation
arXiv 2312.08344: FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects