关键点检测

在图像里定位几个事先约定含义的点，如手腕、杯把手或箱子角。

关键点检测在图像中输出若干个含义事先约定好的点的坐标，每个点对应固定部位，比如人的左手腕、杯子把手、纸箱的角。它比检测框精细，比分割掩码轻量；和 SIFT、ORB 这类特征点不同，特征点只求局部纹理好认，没有固定含义。最常见的是人体关键点：COCO 为每个点标「未标注 / 被遮挡 / 可见」，用 OKS 相似度打分。机器人操作里，MIT 的 kPAM（2019）用几个 3D 语义关键点表示一类物体，换一个形状不同的杯子也能按同样规则挂上架子，比只估 6D 位姿更能应对同类物体的形状差异。

例子让机器人把各种杯子挂到杯架上：先检测杯底、杯口和把手几个 3D 关键点，再规划动作让把手对准挂钩，杯子大小形状不同也能用同一套规则。

也叫

关键点、关键点定位

相关

人体姿态估计、语义关键点、特征点、6D位姿估计、ReKep、任意点跟踪

来源

COCO Data Format（keypoints 标注格式）
kPAM: KeyPoint Affordances for Category-Level Robotic Manipulation (arXiv:1903.06684)