稠密对应

为一张图里的每个像素，找到它在另一张图里对应的位置。

稠密对应指在两张图像之间为每个像素（或绝大多数像素）找到匹配点，区别于只匹配少量特征点的稀疏匹配。它分两类：几何对应找同一个物理点在不同视角或时刻的位置，相邻帧的光流就是一种；语义对应找不同物体上意义相同的部位，比如两只外形不同的杯子的杯柄。近年常直接用预训练视觉模型的特征做最近邻匹配，例如 DINO 系列特征，或 NeurIPS 2023 的 DIFT 从扩散模型里提取的特征，不需要专门训练。在机器人里，它可以把演示中的抓取点、关键点迁移到新物体上；MIT 2018 年的 Dense Object Nets 就用自监督学到的稠密描述子，实现同类物体之间的抓取迁移。

例子演示时人抓的是一只红杯子的杯柄；换成一只没见过的蓝色马克杯后，用 DINOv2 特征做语义对应，找到蓝杯子上对应的杯柄像素，再结合深度得到抓取位置。

也叫

稠密匹配、语义对应、Dense Matching

相关

特征匹配、语义关键点、光流、DINOv2、关键点检测、神经描述子场

来源

Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation (arXiv 1806.08756)
Emergent Correspondence from Image Diffusion (DIFT, arXiv 2306.03881)