MASt3R

MASt3R: Grounding Image Matching in 3D进阶

Naver 在 DUSt3R 上加匹配头的模型，同时输出三维点图和稠密匹配特征。

MASt3R 由 Naver 的 Vincent Leroy、Yohann Cabon、Jérôme Revaud 于 2024 年提出，发表于 ECCV 2024。它的出发点是：图像匹配（找两张图里对应同一物理点的像素）本质上是三维问题，和相机位姿、场景几何紧密相关。它以 DUSt3R 为底座——DUSt3R 输入两张图，直接回归每个像素的三维坐标（点图），对大视角变化很鲁棒但匹配精度有限——再加一个输出稠密局部特征的新头，用额外的匹配损失训练，并配一套快速互为最近邻匹配算法，把匹配速度提高了几个数量级。它在多个匹配基准上大幅领先，在 Map-free 定位数据集上 VCRE AUC 绝对提升 30%。MASt3R-SfM、MASt3R-SLAM 都以它为核心。代码采用 CC BY-NC-SA 4.0 协议，仅限非商业使用。