具身智能新手名词表English

深度补全

Depth Completion进阶

把深度图里缺失或稀疏的像素补齐,得到完整、稠密的深度。

深度补全指给定一张不完整的深度图(有空洞,或像激光雷达那样只有稀疏点),通常再配上对应的彩色图,预测出每个像素都有值的稠密深度。机器人常用的 RGB-D 深度相机碰到透明、反光、过亮或太远的表面时经常测不出深度,而抓取、避障又依赖完整几何,所以补全是常见的预处理。最简单的做法是用邻近像素插值填洞;Zhang 与 Funkhouser 在 CVPR 2018 提出先用彩色图预测表面法向和遮挡边界,再与原始深度联合求解出完整深度;ClearGrasp(2019)专门补全透明物体的深度来支持抓取。近年也有用单目深度基础模型结合稀疏深度来做补全的方法。

例子夹爪要抓桌上的玻璃杯,但深度相机在杯子区域几乎全是无效值;先用 ClearGrasp 这类方法补出杯子表面的深度,再交给抓取检测网络。

也叫
深度修复、深度图补全、Depth Inpainting
相关
深度空洞、深度相机、透明/反光物体感知、单目深度估计、Prompt Depth Anything、蚂蚁灵波 LingBot-Depth
来源
Deep Depth Completion of a Single RGB-D Image (arXiv 1803.09326, CVPR 2018)
ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation (arXiv 1910.02550)

在完整名词表里查看 →