神经辐射场

用神经网络记住场景里每个点的颜色和密度，能渲染出任意新视角的图像。

神经辐射场由 Mildenhall 等人在 ECCV 2020 提出，用一个多层感知机表示整个场景：输入空间位置 (x, y, z) 和观察方向，输出该点的体密度和颜色，再沿相机光线做体渲染合成图像。训练只需要一组已知相机位姿的照片，因为渲染过程可微，拿渲染图和真实照片比误差就能优化网络。它最初用于新视角合成，后来被用于三维重建和机器人：Dex-NeRF 用它恢复深度相机测不准的透明物体几何来做抓取，LERF、F3RM 把 CLIP 等语义特征嵌进辐射场，支持用语言在三维场景里找物体。缺点是每个场景都要单独优化、渲染较慢，2023 年出现的 3D 高斯泼溅渲染快得多，此后不少工作转向它。

例子Dex-NeRF（CoRL 2021）对透明玻璃器皿多角度拍照训练 NeRF，从中渲染出深度再交给 Dex-Net 规划抓取，在 ABB YuMi 上的抓取成功率达到 90% 到 100%。

也叫

NeRF、辐射场

相关

3D高斯泼溅、新视角合成、蒸馏特征场、LERF、F3RM、多层感知机

来源

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV 2020)
Dex-NeRF (CoRL 2021, arXiv 2110.14217)
LERF: Language Embedded Radiance Fields (ICCV 2023)