What is Neural Rendering?
我们渲染这些虚拟世界的方法正在迅速改变。通过利用生成机器学习技术，神经渲染在改进渲染管道的许多方面具有巨大的潜力。什么是神经渲染?在本文中，我们将介绍这个概念，将它与经典的计算机图形学进行比较，并讨论它对未来的意义。
Classic Rendering
如今，创建3D虚拟世界是一个复杂而复杂的过程。虚拟场景中的每个物品或资产都由一个多边形网格表示(幻灯片1)。这个多边形网格既可以由艺术家建模，也可以通过扫描生成:这两种过程都是手工和耗时的。我们希望这个特定的资产越详细，网格就会有越多的多边形。
多边形网格只是一个开始。在这个3D世界中的每个表面也有相应的材料，这决定了网格的外观。在运行时，物体的材质和网格被用作着色程序的输入，该程序在给定的光照条件和特定的相机角度下计算物体的外观(幻灯片2)。多年来，许多不同的着色程序被开发出来，尽管基本原理是相同的:使用物理定律来计算物体的外观。这在被称为射线追踪的方法中表现得最为明显，在这种方法中，每一束光线都从它的源头向下追踪到它所反射的每一个表面。
这种渲染管道可以创造出惊人的结果:你看过的每一部电影中的每一个CGI效果，你玩过的每一款游戏都使用了这种“经典计算机图形”管道的某种形式。该管道的主要难点在于显式定义每个对象和每个材质需要大量的工作，渲染真实或复杂的场景需要大量的计算。这就引出了一个问题:如果我们不需要定义每个物体并计算每个光反射会怎样?
Enter Neural Rendering
那么，什么是神经渲染?虽然它仍然是一个非常年轻的领域，但它已经发展到包含大量的技术——gans是神经渲染的一种形式。神经渲染方法背后的关键概念是它们是可微的。可微函数是其导数在定义域的每一点上都存在的函数。这很重要，因为机器学习基本上是带有额外步骤的链式法则:一个可微的渲染函数可以通过数据学习，每次一个梯度下降步骤。通过数据统计地学习渲染函数与我们上面描述的经典渲染方法有本质的不同，经典渲染方法是从已知的物理定律计算和推断。
神经渲染最酷的风格之一是新颖的视图合成。在这个问题中，神经网络学习从任意视点渲染场景。幻灯片3和4是关于这个主题的两篇伟大论文的数据:一篇来自谷歌Research[1]，另一篇来自Facebook Reality Labs[2]。这两件作品都使用了一种被称为射线推进的体绘制技术。光线推进是指当你从观察者(相机)发射出一束光线穿过空间中的3D体，并询问一个函数:空间中这个特定点的颜色和不透明度是什么?神经渲染的下一步是使用神经网络来近似这个函数。
The Future of Rendering
当谈到神经渲染时，我们真的只是触及了表面。如果你想了解更多，我们推荐这篇超级广泛的总结论文[3]。但在我们结束之前，这对未来意味着什么?有了神经渲染，我们不再需要物理建模场景和模拟光线传输，因为这些知识现在隐式地存储在神经网络的权重中。这意味着它将有可能渲染你的脸，当它是在VR头戴设备(幻灯片5)，而不必存储或扭曲你的脸的3D多边形网格!
有了神经渲染，渲染图像所需的计算也不再与场景的复杂性(物体、灯光和材料的数量)有关，而是与神经网络的大小(执行向前传递所需的时间)有关。这为以极快的帧率实现真正高质量的渲染打开了大门。
如果您对机器学习和3D的交叉感兴趣，请查看我们的开源合成数据工具包zpy[5]。您的反馈、提交和特性请求将是非常宝贵的，因为我们将继续构建一套更健壮的工具来生成合成数据。谁知道呢?也许下一个伟大的神经渲染模型将使用zpy生成的数据进行训练。
References
[1] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (arxiv.org/pdf/2003.08934.pdf)
[2] Neural Volumes: Learning Dynamic Renderable Volumes from Images (arxiv.org/pdf/1906.07751.pdf)
[3] State of the Art on Neural Rendering (arxiv.org/pdf/2004.03805.pdf)
[4] zpy: an open source synthetic data toolkit.