透明/反光物体感知
Transparent & Reflective Object Perception进阶让机器人看清玻璃杯、金属件这类深度相机「看不准」的物体。
指针对玻璃、透明塑料、镜面金属等物体的检测、分割和三维形状估计。常见深度相机靠红外光的反射来测距,光线会穿过透明物体或被镜面反射走,结果是深度图里出现空洞(没有读数的像素),或者读到的是物体背后桌面的距离,机器人照此去抓就会落空。典型做法是用神经网络从彩色图预测透明区域的掩码、表面法向和遮挡边界,再做深度补全(把缺失的深度填上);Sajjan、Andy Zeng、宋舒然等人 2019 年的 ClearGrasp 是代表工作。家务、实验室、零售场景里玻璃杯、瓶子很多,这是抓取落地绕不开的问题。
例子ClearGrasp 从单张 RGB-D 图像估计透明物体的表面法向、掩码和遮挡边界,修正深度后再交给抓取算法,提升了机械臂抓透明物体的成功率。
- 也叫
- 透明物体深度估计、高反光物体感知、透明物体感知
- 相关
- 深度补全、深度空洞、深度相机、法向量估计、抓取位姿检测、主动双目
- 来源
- ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation (arXiv:1910.02550)