本系列的上篇阐述了MR的现状和将来可能面临的问题，还点明了其在主流中的应用。本系列的中篇探讨了开发者在新兴的MR媒介中所面临的设计挑战。在本系列的第三部分，也是最后一部分，我们将分析基础平台将如何发展，并概述我们如何创建和执行MR应用的愿景。

 

　　基础MR服务

 

　　Unity提供的用于创建应用程序的工具和服务，以及应用本身，必须与一系列基础服务相互作用。因此，为了了解MR的未来方向，我们退后一步，全盘思考。

 

　　Facebook在2014年收购了Oculus，开启了消费者VR设备和应用的最新潮流，正因为如此，MR已经被预测成为下一个计算平台。高盛在2016年初表示，VR和AR具有“从特定用途的出现到更广泛的计算平台”的潜力。2017年3月的福布斯一篇题为《下一代移动计算平台：一副眼镜》的文章预计，MR眼镜将取代手机、显示器和电视，基础软件和服务将随之发展。

 

　　路透社曾将这个新兴平台称为增强现实、人工智能和云服务的组合。各大科技公司提供了他们各自的观点和措施。ClayBavor将VR和AR结合在一起，将人工智能和机器学习看作是“Google组织世界信息的下一阶段任务”。通过Windows10秋季创作者更新和VR/AR设备，微软的目标是建立一个“让每个人都创造的平台”。今年6月，苹果公司推出了iOS11的ARKit，他们的主题演讲展示了A11仿生芯片与其用于面部识别的人工智能神经引擎。

 

　　操作系统和平台服务在不断发展，包括沉浸式技术的功能。AndroidNougat在操作系统级别引入了对虚拟现实的支持和优化。Windows混合现实平台API成为通用Windows平台的一部分。苹果的新硬件是为AR和AI而构建的，操作系统和SDK紧密耦合以便优化使用。现在，MR操作系统还需要什么？它是什么样子的？

 

　　第14届USENIX操作系统热门话题研讨会的一篇论文探讨了操作系统如何演进支持AR应用。由于AR需要自然的用户输入，作者在对现实世界的持续感知的背景下重新构想输入。他们分析了用户隐私机制，因为敏感的信息与原始数据混杂在一起。此外，他们认为传感器输入访问不应该限制在一个应用，而希望让来自不同供应商的多个AR应用程序同时读取传感器输入，并在共享的3D现实中呈现虚拟叠加层。

 

　　他们还指出，传统GUI中的合成窗口抽象不再可行，所以操作系统必须演变为“将3D对象作为显示抽象，并在3D空间中执行显示隔离和管理”。在AR应用中非常常见的功能，如计算机视觉和人工智能，应该从应用程序转移到专用的操作系统模块。

 

　　现在我们正在重新思考“内容或服务等于应用程序图标”的原则。我们认为，MR应该是以人为本，以物为中心，以世界为手段（也称为“可点击的世界”）。因此，我们正在重新审视应用程序被呈现为单独图标的概念，从前的应用必须由用户点击图标才能执行。在这个计算机视觉和人工智能为基础服务的新型计算平台中，我们设想不仅在用户要求时，而且在用户需要时应用就能出现。例如，当玩家拿起nerf枪时，游戏可以自动启动，或者人们从冰箱中拿出食物时，微波炉自动出现烹饪指南。

 

　　在之前的文章中，我们也提出了预测：MR设备外部的传感器将存在于我们周围的物理空间。物联网将与MR可穿戴设备双向通信。这种情况很可能是受到弗诺·文奇的《彩虹尽头》的启发：“现在到处都是神秘的机器。它们伏在墙上、坐在树上、甚至散落在草坪。他们每天24小时都默默无闻地工作。”但是已经有一些通用感应的例子，比如卡内基梅隆大学的合成传感器计划。正如Greg在中篇提到的那样，我们需要传感器来更好地理解物理世界。保持用户与周围的有形世界的连接，也能够在混合的现实中操作物理对象。目前允许这种双向通信的例子是RealityEditor和OpenHybrid。
 

 

　　对于新兴的MR计算平台来说，这意味着MR眼镜上的操作系统服务应该扩展输入/输出设备的概念，包括它识别、连接并在运行时控制新的非本地硬件（即识别并连接到进入空间时的环境传感器，或在运行时与智能室外摄像机进行识别和互动），以便应用程序不必每次都重新实现。

 

　　因此，根据目前的趋势，我们对下一个计算平台作出了若干个假设：

 

　　1.连接性不会成为问题：第五代（5G）无线网络将与固定宽带竞争。光保真（LiFi）通信已经部署，预计很快将在美国、欧洲或其他地方迅速发展。

 

　　2.操作系统和平台将包括机器学习和计算机视觉服务（在云中运行），并允许与物联网进行双向通信。

 

　　3.云服务将允许存储持久性矩阵，即物理世界的数字副本以及同步的共享混合现实。这样，设备就成为了持久现实的窗口。

 

　　4.连接到物联网的各种传感器和设备将处于环境中，并与MR设备双向通信。

 

　　当然，我们并不能确切知道这些假设将如何实现，以及Unity这样的引擎构建的功能有怎样的影响。此外，数据隐私和安全影响也需要所有参与者深入考虑。我们希望我们的实验带来一些答案，使混合现实以正确的方式成为主流。

 

　　增强应用

 

　　在上一节中描述的世界中，我们设想MR体验采用情境应用的形式，如博客第二部分介绍的名片。这些类型的应用将需要改变传统创作方法。

 

　　首先，我们希望在需要时MR体验可以自己启动。创作者应该指定启动应用程序必须满足的条件，我们使用“情境触发”这个术语来定义它：

 

　　情境触发是激活MR体验的虚拟或物理环境标准。它是某个时间、GPS坐标、接近某个物理对象、基准标记，互联网设备上的序列号以及通过脑机接口、神经科学和机器学习的进步的组合。情境触发来自用户的意图、偏好和行为。

 

　　其次，我们解决了应用作为独立的可执行文件在自己的内存空间上运行的问题。相反，我们将情境应用定义为决定MR体验的数据集合，并且可以访问持久的现实。简而言之，我们“增强”交互式应用由以下三点组成：

 

　　1.情境触发器

 

　　2.应用程序逻辑，即交互规则：如何与用户和世界进行交互

 

　　3.资源：在客户端上呈现的3D/2D视觉效果和音频。

 

　　情境触发器和应用程序只是目前还处于基础概念阶段。目前我们正在对其进行详细阐述和原型设计，但是还有很多问题需要回答：当3D对象是显示抽象时，Unity画布应该是什么样子？如何将物理对象带入创作过程？调试器或旁观者模块在编辑现实的时候如何？“编辑现实”是最重要的主题。我们不仅要考虑应用程序如何实现虚拟和物理现实交互，还要考虑创建这些应用程序的过程。