“MR研究小组”是最近在Unity实验室新成立的团队。该团队旨在研究MR/AR技术的影响和未来应用方向，并据其制定战略，帮助Unity开发者理解开发、设计和使用游戏和应用的新方向。

　　小组进行深入研究，以长远的眼光假设未来，并做出预测，使命是支持开发者更好地走向未来。

　　为什么会有这样一个小组？

　　创建这个小组的原因很多，最重要的是：Unity坚持为未来的主流新兴技术做准备。此外，我们还有一个探索新技术的任务，鼓励开发者和工作室，向他们展示新技术的潜力。还有一个原因就是要超越“被证明”的现有，发现更多不可能。

　　为什么选择MR？

　　让我们重新梳理一下VR/AR/MR等术语。

　　1994年，Paul Milgram和Fumio Kishino的论文《增强现实：一种基于虚拟现实连续体》提出“虚拟现实连续体”的概念。

　　简单来说，用上图表示，该图相当于一个坐标轴，轴最左侧表示真实世界（Reality），最右侧表示虚拟环境（Virtual Reality，即VR），混合现实（Mixed Reality，即MR）连接了真实世界和虚拟环境，其中混合现实又分为增强现实（Augmented Reality，即AR）和增强虚拟（Augmented Virtuality，即AV）。偏向于虚拟环境部分的为增强虚拟，而偏向于真实世界部分的则定义为增强现实。

　　可以见得，虚拟连续体的原始定义只考虑到视觉刺激。

　　2009年，Seokhee Jeon和Seungmoon Choi将其扩展到触觉（《增强现实触觉：分类学和调幅案例》）。

　　在上面的2轴坐标图中，混合现实（MR）包含了虚拟视觉和触觉元素。

　　举个例子，我们的研究原型Carte Blanche（CB）是Oculus Rift的一款应用程序。它可以让开发者的设计视角切换到虚拟世界中，并可以通过手势进入到特殊元素的内部继续进行设计。

　　这些元素让CB成为一个MR体验，混合了虚拟视觉和现实触觉。

　　Jeon和Choi的“结合视觉触觉的虚拟连续体”理论将人们传统的两种感觉囊括在内。那其他的感觉呢？

　　多感觉的沉浸式体验已经存在一段时间了。2003年，日本筑波大学开发出味觉反馈器；近几年，新加坡国立大学也开发出味觉反馈器；今年，日本的创业公司Vaqso也开发了VR头显气味发生器。

　　所以，我们应该将增加更多感觉，直到将人类的五官感受都增加进来吗？或者我们应该确定多维空间的感官标准？

　　于是，我们开始思考“虚拟现实连续体”的另一个重要问题：为什么有些感觉是必要的，例如视觉，而另外一些感觉却不必要？

　　先不管定义中提到的维度数量，我们团队选择“混合现实连续体”的原因是，我们不想把自己局限在有限的视觉或特定类型的体验里（如AR）。

　　VR则是“虚拟连续体”中的一个极端，其体验是完全合成且受控的。就像电视、广播，甚至书籍，你体验完之后再回到现实。这是一种逃避现实、并体验不存在或偏离世界的方式。因此，它为娱乐和教育提供了丰富的方式，是设计新场景的关键。

　　但是，我们认为，将虚拟和物理混合在一起的沉浸式技术将主宰日常生活，得以连续应用。

　　MR在日常生活中，被视为一种混合叠加现象，因此可以被广泛使用。前面提到的Carte Blanche就是一个例子。

　　另一个例子是，在现实世界中叠加虚拟信息的技术，将让AR替代掉智能手机、电视和其他日常设备。

　　目前的沉浸式技术浪潮始于消费版VR头显。VR/AR设备的来回切换，促成了最后的一步——MR将成为日常生活的主导技术。我们希望帮助Unity开发者将想象力转化为体验。

　　预测

　　未来五年内，我们预测屏幕分辨率的巨大飞跃将推动MR的连续使用，人们可以长时间在MR设备上工作。实现持续使用的另一个因素则是VR和AR之间可以轻松切换。

　　MR即将变得更加社会化。目前当一个房间里有多人体验时，传感器是一大问题，所以我们期待可以实现位置跟踪效果更好的传感器。例如，我们可以看到LiDAR点云数据结合inside-out位置跟踪，一起出现在MR设备里。

　　无线系统和眼动跟踪将普及，手势跟踪将不再受到传感器的限制，人们可以脱离PC的限制。这样，人们可以坐在一起玩虚拟棋盘游戏。随着虚拟屏幕的发展，他们还可以坐在沙发上、甚至躺在床上看电子游戏。这也意味着我们必须改变我们对MR应用的设计观念，以适应这些新规范。

　　数字角色将出现在MR世界中。例如，语音助手饱含情感的声音与人类几乎一致、难以分辨，虚拟角色可以与用户实现直接交互（可能就坐在你身边、可以跟你一起走、还会认方向……）

　　你们这个小组在2017-2018年会做些什么呢？

　　我们会定期更新，我们认为MR还有很多有趣的领域值得开发，现在给大家简要介绍一下我们在SIGGRAPH 2017会议上的演讲内容：

　　1、应用程序是无形的，无形的东西容易被遗忘

　　如上文所提到的，智能手机最终可能被MR设备所取代。随着所有的iOS设备中都会有苹果ARKit，安卓设备中都会有谷歌ARCore，智能手机已经开始向完整的MR设备过度。

　　随着设备不断增加，移动应用市场逐步成熟，甚至达到饱和。通常，人们只是在第一次下载应用程序的时候会使用，然后下载好的应用就被慢慢遗忘了。

　　“游戏，这个应用程序曾经被称为‘移动行业的宠儿’，但随着时间的推移，它已经一年不如一年。”

　　10年后，移动行业将迎来顶峰。iPhone十周年的到来，移动行业已经发展为一个自相残杀的市场。增长速度下降可能意味着市场成熟度、饱和度或应用程序淘金热的结束。（《在移动应用的第十年，它们开始自相残杀》）

　　在一个已经达到饱和的市场中，“1内容/服务=1移动应用”的业务模式已经不复存在，利用AR应用来替代平面应用也不是解决问题的办法。所有品牌/公司/创业团队都将尝试寻找其他向量与消费者互动。我们正在研究如何使MR应用更有吸引力，减少“一次性应用”的产生。

　　我们的同事Mauricio Vergara指出：“随着沉浸式计算机的普及，实时3D图形将成为我们与世界互动的方式。”

　　2、混合现实将超过我们目前的认知

　　到目前为止，MR应用主要是单独和单次使用的体验。因此，用户的体验场景多多少少有些局限。但似乎开发者更倾向于创新，而不是针对问题采取解决方案。

　　“最令人兴奋的MR涉及环境的实时3D投影，这使得虚拟对象能够与现实世界中的环境和对象进行交互。例如，一台计算机生成的小动物，可以站在桌子上，或者隐藏在桌子底下。”（《为何谷歌和苹果即将统治混合现实》）

　　未来的应用开发要求我们必须改变观点，尝试问自己一些有趣的问题：当我们闭上眼睛时，现实会消失吗？

　　将来，设备可能不再用于生成沙盒现实，而是作为将用户连接到持久性现实环境的工具。例如，博物馆可以围绕艺术品创建交互式体验，体育场馆可以实时显示运动员的虚拟信息，餐桌可以在桌子等物体上投射可互动的菜单。

　　类似的可能性是无止境的。未来，开发者可以在一切适当的地方使用增强信息。

　　像谷歌的视觉定位服务（VPS）这样的平台，可以快速、准确地进行室内位置的投影和确定，有助于在任何地方提供完美的增强体验。MR研究小组也将创建开发工具，帮助用户和开发者理解这样的新视角。

　　3、未来的MR体验应该更加社会化

　　目前，许多MR体验都没有足够社会化，最终它们将孤立于体验者和观众而存在。我们想改变这样的现状。

　　去年有一些做得不错的VR社交应用，但AR社交难以开发，还处于起步阶段。通常情况下，即使体验者与观众在同一个房间，观众也很难想象到体验者的感觉，因为他们通常看不到任何东西。

　　过去几个月，我们在活动期间观察了许多AR体验者，得到了一个结论：如果他们脱离了现实，他们就会觉得很无聊，不想互动。类似地，我们应该记住，VR的普及关键不在于戴着VR头显的体验者，而是将“混合现实视角”展示到YouTube等分享平台上的人。看到内容和体验者的反应是让大众产生兴趣的关键。

　　Mark Billinghurst告诉我们，AR可以带来同情感：“可以让我们分享所看到的、听到的和感觉到的。”

　　这是一个惊人的想法，就像打开了新世界的大门。但它也是有代价的。

　　社会化的增加会引发隐私和自由问题，这是沉浸式技术未来将面临的一大难关。每个人都必须考虑隐私和自由问题，包括工程师、艺术家、设计师和政策制定者。

　　由于MR在未来十年就可能做到无处不在，从现在就开始讨论这个问题，才能防患于未然。

　　4、游戏开发的革命

　　游戏开发的未来从未如此明了。MR带来了一个全新的时代，充满了新的游戏类别和新的玩游戏方式。Unity处于一个独特的地位，将影响到游戏的未来。我们小组将研究游戏在这个MR的新时代如何演变。

　　游戏怎么玩？什么时候玩？怎么开发？这些都是重要的问题，MR提供了大量可能的回答。我们的工作之一就是引领Unity走向未来。

　　话虽如此，Unity的核心优势在于开发者社区，我们小组的工作将有助于开发者在新世界中制定成功的计划。我们将联手Unity其他团队，创新和改进MR开发工具，进一步支持用户迈向成功。

　　在此文的中篇和下篇，我们将探究上述问题的含义，并深入讨论我们在MR新媒体中面临的设计挑战。