Metric3D

从单张图片估计米制深度的模型，靠标准相机空间变换消除不同相机的尺度歧义。

Metric3D 由尹伟、沈春华等人提出，发表于 ICCV 2023，目标是从单张照片零样本估计带真实尺度的深度。难点在于不同相机焦距不同，同样大小的物体在图上显得远近不一，把各种相机拍的数据混在一起训练，尺度会互相冲突。它的做法是「标准相机空间变换」：训练时把所有样本按焦距统一换算到一个虚拟的标准相机下，推理时再按真实相机内参换算回去。这样能用 800 多万张、来自上千种相机的图片训练，对没见过的相机也能给出米制深度，在 7 个零样本基准上取得当时最好成绩。2024 年的 Metric3D v2（TPAMI）换用 DINOv2 骨干，训练数据增至 1600 多万张，并增加表面法向量估计。代码以 BSD 协议开源。

例子单目 SLAM 只靠一个普通相机，不知道场景真实尺度；Metric3D 仓库推荐了一个把它预测的深度接入 DROID-SLAM 的开源实现，用来得到米制尺度的建图结果。

也叫

Metric3D v2、Metric3Dv2

相关

单目深度估计、度量深度 / 相对深度、相机内参、Depth Anything、Depth Pro、MoGe

来源

arXiv: Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image
arXiv: Metric3Dv2: A Versatile Monocular Geometric Foundation Model
GitHub: YvanYin/Metric3D

信息截至

2025-01