蒸馏特征场

把 CLIP、DINO 等 2D 模型的特征蒸馏进 3D 场景，让每个空间点带语义。

蒸馏特征场是在神经辐射场（NeRF，用多视角照片重建三维场景的神经表示）或高斯泼溅等 3D 表示里，除颜色和密度外再给空间每一点学一个特征向量，训练目标是让它渲染到各视角后与 CLIP、DINO 等 2D 基础模型提取的图像特征一致，相当于把 2D 模型的知识蒸馏进 3D。名称来自 Preferred Networks 与 MIT 的 Kobayashi、Sitzmann 等人 2022 年的 NeurIPS 论文，当时用来按文字或点击选中并编辑 NeRF 里的物体。它既有精确几何，又能用自然语言在三维空间里定位物体。机器人方面，MIT 的 F3RM 用 CLIP 蒸馏特征场做少样本、语言引导的 6 自由度抓取与放置，获 CoRL 2023 最佳论文；LERF 也属同类思路。

例子F3RM 先对桌面拍一组多视角照片，重建出带 CLIP 特征的场景；抓杯口这类任务每个只示范两次，之后就能按文字指令去抓外形、类别都没见过的物体。

也叫

特征场、Feature Fields、语言嵌入场、特征场蒸馏

相关

F3RM、LERF、神经辐射场、CLIP、知识蒸馏、3D高斯泼溅

来源

arXiv 2205.15585: Decomposing NeRF for Editing via Feature Field Distillation
arXiv 2308.07931: Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation
F3RM project page