模型|神经辐射场去掉「神经」，训练速度提升100多倍，3D效果质量不减效果|系数|alexyu|神经|场景|球

机器之心报道
编辑：张倩

没有了神经网络，辐射场（Radiance Fields）也能达到和神经辐射场（Neural Radiance Fields ， NeRFs）相同的效果，但收敛速度快了 100 多倍。

2020 年，加州大学伯克利分校、谷歌、加州大学圣地亚哥分校的研究者提出了一种名为「NeRF」的 2D 图像转 3D 模型，可以利用少数几张静态图像生成多视角的逼真 3D 图像。其改进版模型 NeRF-W （NeRF in the Wild）还可以适应充满光线变化以及遮挡的户外环境，分分钟生成 3D 旅游观光大片。

文章图片

【模型|神经辐射场去掉「神经」，训练速度提升100多倍，3D效果质量不减】NeRF 模型 demo 。

文章图片

NeRF-W 模型 demo 。
然而，这些惊艳的效果是非常消耗算力的：每帧图要渲染 30 秒，模型用单个 GPU 要训练一天。因此，后续的多篇论文都在算力成本方面进行了改进，尤其是渲染方面。但是，模型的训练成本并没有显著降低，使用单个 GPU 训练仍然需要花费数小时，这成为限制其落地的一大瓶颈。
在一篇新论文中，来自加州大学伯克利分校的研究者瞄准了这一问题，提出了一种名为 Plenoxels 的新方法。这项新研究表明，即使没有神经网络，从头训练一个辐射场（radiance field）也能达到 NeRF 的生成质量，而且优化速度提升了两个数量级。

文章图片

论文链接：https://arxiv.org/pdf/2112.05131.pdf
项目主页：https://alexyu.net/plenoxels/
代码链接：https://github.com/sxyu/svox2

他们提供了一个定制的 CUDA 实现，利用模型的简单性来达到可观的加速。在有界场景中， Plenoxels 在单个 Titan RTX GPU 上的典型优化时间是 11 分钟， NeRF 大约是一天，前者实现了 100 多倍的加速；在无界场景中， Plenoxels 的优化时间大约为 27 分钟， NeRF++ 大约是四天，前者实现了 200 多倍的加速。虽然 Plenoxels 的实现没有针对快速渲染进行优化，但它能以 15 帧 / 秒的交互速率渲染新视点。如果想要更快的渲染速度，优化后的 Plenoxel 模型可以被转换为 PlenOctree（本文作者 Alex Yu 等在一篇 ICCV 2021 论文中提出的新方法：https://alexyu.net/plenoctrees/）。