对计算机图形而言，虚拟现实，增强现实和混合现实所带来的虚拟体验是一种新前沿。这个前沿状态与当代游戏和电影图形截然不同。对于后两者而言，几十年的制作经验和稳定进步的技术已经实现了2D屏幕上的图形潜力，但前者的潜力尚未兑现。本文来自于英伟达的摩根·麦奎尔(Morgan McGuire)博士，他将介绍英伟达专为虚拟体验优化的全面新系统。以下是我们的整理。

　　摩根·麦奎尔博士是英伟达AR与VR研究团队的科学家。他曾为动视和THQ出品的《小龙斯派罗》，《使命召唤》，《漫画英雄:终极联盟》和《泰坦之旅》等游戏系列做出了贡献。摩根是《The Graphics Codex and Computer Graphics: Principles & Practic》的合著者。他在滑铁卢大学和威廉姆斯学院担任教职。

　　英伟达研究院的站点分布全球，而我们的科学家正在与当地大学进行紧密的合作。我们涉足一系列的研究，包括自动驾驶汽车，机器人，游戏和电影图形等等。

　　我们在虚拟体验方面的创新包括你可能已经听说过的技术，例如注视点渲染，变焦光学，全息术和光场。本文将详细介绍我们在这方面的进展，但最重要的是展示我们的愿景，即它们将如何改变与计算和现实的每一次交互。

　　英伟达努力确保我们的每一代GPU都是世界上最好的产品。我们在研究部门的角色是，跳出稳定改进的产品周期，寻求革命性的变化和应用。我们正在努力将虚拟现实从早期的采用者概念推向所有计算的革命。

　　1. 愿景

　　我们相信，VR将成为所有计算的界面。它将取代手机显示屏，电脑显示屏和键盘，电视机和遥控器，以及汽车仪表板。无论你是否还可以通过显示屏来感知现实世界，为了简化术语，我们把VR作为支持所有虚拟体验的简写。

　　我们将目标锁定在所有计算的界面上，因为英伟达的使命是创造变革性的技术。技术只有应用于日常才具备真正的变革性意义。它必须成为我们生活中无缝的组成部分才能产生真正的影响力。最重要的技术是我们想当然的那一者。

　　如果我们正着眼于所有的计算界面，那么VR游戏呢?今天，游戏对于早期采用者来说是一个重要的VR应用。我们已经通过产品支持这一应用，并且在每个GPU架构上发布新的VR功能。英伟达显然非常重视游戏，并确保它们在虚拟现实中能够表现出色。然而，VR技术的真正潜力远不局限于游戏，因为游戏只是计算的一部分。所以，我们首先从VR游戏开始，但现在这项技术正扩展至工作，社交，健身，医疗保健，旅游，科学，教育，以及计算可以发挥重要作用的所有领域。

　　英伟达正在为VR革命做出贡献。在1999年推出现代GPU之前，我们已经改变了消费类计算，并为消费类应用提供了高性能计算。今天，不仅只是你的电脑，你的平板电脑，智能手机，汽车和电视都搭载了GPU。曾经仅供超级计算机使用的计算性能现在出现了消费者面前。因此，我们都在享受便利，娱乐和生产力的新水平。现在我们都成为了高级用户，而这要归功于我们设备中隐藏的和广为普及的GPU。

　　VR要成为无缝我们生活中的一部分，其系统必须变得更加舒适，易用，价格合理，功能强大。我们正在发明全新的头显技术，用基于激光和全息图的细薄型眼镜取代当前笨重的VR头显。它们将如同平板电脑，手机和笔记本电脑一样广为普及，甚至更容易操作。它们可以立即在AR/VR/MR模式之间切换，而且它们将采用几乎与当今技术天差地别的全新GPU和图形软件。

　　所有这一切创新都指向了一种与计算机交互的新方式，而这不仅需要新的设备或软件，还需要一个全新的VR系统。在英伟达，我们正在用尖端的工具，传感器，物理，人工智能，处理器，算法，数据结构和显示技术来发明这个系统。

　　2. 理解工作原理

　　英伟达研究院对正在开展的工作持非常公开的态度，并通过科学出版物和开源代码共享我们的成果。在本文的第2部分中，我将概述我们最近的部分发明。但首先，为了向相关技术和我们对未来AR/VR系统的愿景提供一个现实背景，我们下面先来看看当代电影，游戏和现代VR系统的工作原理。

　　2.1 电影图形系统

　　好莱坞动作大片包含真实物体和计算机生成图像(CGI)，以此来创建惊人的视觉效果。现代的CGI技术非常发达，好莱坞可以制作完全由计算机生成的场景。 在漫威电影《死侍(2016)》的编排中，场景中的每个对象都是由电脑渲染，并非是真实拍摄。不仅只是爆炸和子弹，还包括建筑物，车辆和人员。

　　从技术的角度上看，用高视觉保真度来制作上述影像的电影系统可以通过下图进行描述：

　　从左边的剧本创作阶段，到粒子，三角形和弧形细分曲面的建模原语，再到渲染器，上图包含许多部分。渲染器主要是使用一种名为“路径追踪”的算法来逼真模拟虚拟场景中的光线。

　　渲染之后还需要手动对2D图像进行颜色和合成的后期处理。整个过程不断循环，而导演，编辑和美工则循序渐进地修改基于视觉反馈的内容，然后再向观众展示。电影级别的图像质量是我们对VR的目标。

　　2.2 游戏系统

　　电影图形系统演变成3D游戏中类似的系统。游戏代表了我们的VR交互速度和灵活性的目标，即使是非娱乐应用也同样如此。游戏图形系统如下图所示：

　　我在这里特意展示了一个“延迟着色”管道。这是大多数PC游戏所使用的技术，因为它提供了最高的图像质量和吞吐量。

　　像电影一样，这个流程从创作开始，并包含大量的艺术方向循环。游戏为玩家添加一个至关重要的交互循环。当玩家看到屏幕上出现某物时，他们会按下按钮，然后输入将馈送至图形处理管道中的随后帧。这个过程带来了“延迟”，这是由于为新用户输入更新帧需要花费时间。对于一款感觉流畅的动作游戏，传统游戏中的延迟需要低于150ms，所以保持合理的低延迟是一个挑战。

　　遗憾的是，一系列因素都会增加延迟。例如，游戏使用“光栅化”渲染算法来代替路径追踪。延迟渲染光栅化管道包含多个阶段，而每个阶段都会增加一定的延迟。跟电影一样，游戏流程包含一个重大的2D后期处理组成部分，亦即上图中的“PostFX”区域。就像流水线一样，这条长长的管道增加了吞吐量，并且可以实现流畅的帧率和高分辨率，但复杂性的增加会扩大延迟。

　　如果只看输出，像素会很快从流水线中出来，这就是为什么PC游戏具有高帧速率的原因。值得注意的是，像素需要在管道中停留很长时间，因为它分成很多阶段。图中红色的垂直线表示栅障同步点。它们放大了一个阶段的延迟，因为在栅障同步处，只有前一阶段的最后一个像素完成后，下一阶段的第一个像素才能开始处理。

　　游戏管道可以提供惊人的视觉体验。加上精细的艺术指导，它们可以在顶级GPU上实现接近于CGI电影，甚至是真人实景电影的质量。例如，我们可以参考EA的游戏《星球大战：前线II(2017)》。

　　尽管如此，《星球大战》游戏的最佳画面将比《星球大战》电影的最佳画面更为静态。这是因为游戏视觉效果必须根据性能进行调整，而这意味着照明和几何无法以银幕上那种史诗般的方式发生改变。你可能对相对静态的游戏环境非常熟悉，这种环境只能切换到剪切场景中的大型固定爆炸场面。

　　2.3 现代虚拟现实系统

　　现在我们来看看电影和游戏与现代VR的不同。当开发者用游戏引擎开发VR时，他们遇到的第一个挑战是规格的增加。原始图形功耗从每秒6000万像素(60MPix/s)上升至VR的450MPix/s。这只是一个开始…该数字在明年将会增加四倍。

　　当比较Oculus Rift或HTC Vive上的450 Mpix/s和30 FPS的1080p游戏时，前者的每秒像素数目几乎是后者的7倍。这是吞吐量的增加，因为它会改变像素在图形系统中的移动速度。这是一个巨大的挑战，但性能挑战更大。回想一下，玩家输入与像素在传统游戏屏幕变化之间的游戏交互延迟大约为100-150毫秒左右。对VR来说，我们不仅需要增加7倍的吞吐量，同时还要减少7倍的延迟时间。今天的VR开发者应该如何做到这一点呢?我们首先看看延迟。

　　在下图中，延迟是数据从系统左侧移动到右侧所花费的时间。系统中大部分的阶段能够提供更好的吞吐量，因为它们可以并行工作，但它们同时会延长管道，所以延迟会变得更糟糕。为了减少延迟，你需要消除多个框框和红线。

　　正如你所预料的那样，为了减少延迟，开发者可以尽可能消除图表上的阶段，如上图所示。这意味着切换回“正向”渲染管道，亦即所有事情都在一个3D通道中完成，而不是多个2D着色和PostFX通道。这降低了吞吐量，然后通过显著降低图像质量进行保存。遗憾的是，它仍然无法提供足够的延迟减少。

　　帮助当代VR弥补延迟差距的关键技术是时间扭曲(Time Warp)。在“时间扭曲”下，屏幕上的图像可以在不完成整个图形管道的情况下进行更新。取而代之的是，头部追踪数据将发送至渲染完成后出现的GPU阶段。由于这个阶段比较接近显示器，所以它可以扭曲已经渲染的图像以匹配最新的头部追踪数据，这样就不需要完成整个渲染管道。借助一定的预测技术，这在理想情况下可以将感知延迟从大约50ms降到0ms。

　　现代VR硬件的另一个关键技术是透镜畸变(Lens Distortion)。优秀相机的光学元件至少包含五个高品质的玻璃镜片。但遗憾的是，这十分笨重，体积巨大，而且昂贵，你无法将相当于两台单反相机的设备穿戴在头上。

　　所以，大部分头显只采用廉价的塑料透镜。这种透镜轻而小巧，但质量不高。为了校正简单透镜带来的畸变和色差，着色器以相反的量来预扭曲图像。

　　英伟达的GPU硬件和VRWorks软件加速了现代VR管道。GeForce GTX 1080和其他Pascal架构GPU使用了名为同步多重投影(Simultaneous Multiprojection)的新功能来渲染多个视图，其可以提高吞吐量和缩短延迟。这个功能提供了单通道立体影像，同步为双眼进行渲染，并提供匹配透镜的着色。这能直接渲染预扭曲的图像，并且提供更好的性能和更锐利的影像。1080中的GDDR5X内存提供了比前一代高1.7倍的带宽，而硬件音频和物理技术则有助于创建更精确的虚拟世界，从而可以增加沉浸感。

　　减少的管道阶段，时间扭曲，透镜畸变，以及强大的PC GPU

　　现在我们已经明确了电影，游戏和VR图形的工作原理，未来我们将继续探索人类视觉感知的限制，并且分享我们正在研究的解决方案。