Facebook高管:完结VR 1.0时代,好戏才刚刚开始
发布时间:2019-07-12 09:42 来源: 青亭网
在去年的OC5大会上,Oculus首席科学家Michael Abrash在主题演讲环节中再次展望了未来的VR/AR形态,他预测,未来的设备将同时融合AR/VR两种模式,而分辨率将会在2021年达到单眼4Kx4K,具备140°视场角和可变焦距,甚至采用波导式光学的头显可能会直接取代现有产品。并指出,此前曾展示的Half Dome VR头显原型已经满足140°视场角和可变焦距这两点,而现在市面上也出现了分辨率可达4K的显示面板。
此外,Abrash继2016年后再一次强调注视点渲染将成为VR的核心技术,还认为空间音频将成为家用VR的标配,并预测双手触觉反馈将会在十年内以某种形式实现,VR头显在未来将通过无线的方式与计算模块或电池相连。同时,他还展示了一款名为Codec Avatars的超逼真虚拟人像系统,并看好这项技术在四年内应用在VR头显上的可能性。
尽管Abrash认为他所预测的未来可能距离现在还有几年甚至十年左右的时间,但是在看到近年来Facebook公开的专利和研究成果,以及开始大量招聘相关工程师开发下一代C端产品的消息,不禁让人期待这个”未来“是否已经一步一步向我们走来?
尤其是在CEO Mark Zuckerberg刚宣布完成包括Oculus Rift S、Quest、Go在内的第一代产品线这个节骨眼,很难不去猜想下一代Oculus VR产品将以怎样的形式来到。考虑到Oculus从推出Rift到Go,之间用了两年左右的时间,也许其下一代产品距离现在并没有那么遥远。
不仅如此,近期Facebook VR/AR设计部门总监Jon Lax在推特上的发言也给了Oculus粉丝很大信心,他表示:在推出Quest后,Oculus完成了VR的第一篇章,而接下来好戏才将真正开场。Facebook两名高管,AR/VR部门副总裁Andrew Bosworth和AR/VR产品负责人Maria Fernandez Guajardo甚至也这个帖子点了赞。
那么Lax所说的“接下来”到底在指什么呢?为了让你心里有个数,小编整理了这些年来所公开的一些重大研究和专利。
1.变焦距屏幕
据悉,市面上几乎所有消费级VR头显采用的都是固定焦距的显示屏方案,尽管部分VR头显具备调节按钮,但光学焦点通常被限制在2米左右。
固定焦距屏幕的缺点是,尽管VR会分别为双眼提供具有视差的图像来增加立体感,但是每只眼睛与影像之间的距离都是固定的。其发射到人眼球的光线并不具备深度,当你试图聚焦在VR中不同深度距离的物体时,其实都聚焦在了屏幕上,因此会产生视觉辐辏调节冲突,让画面感觉不清晰,甚至还容易造成视觉压力和眩晕。
而Facebook希望解决这一问题,其曾在2018年F8大会上展示过的Half Dome就采用变焦显示方案,原理是通过移动屏幕来实现物理聚焦的效果。据了解,这款支持变焦的VR系统经历过多次迭代,最初的原型机体积很大,不过现在已经可以做到正常VR头显大小。
据Reality Labs的Douglas Lanman称,有了这种可变焦的VR屏幕,你可以看清楚VR中距离很近的物体,甚至能看到游戏中的更多细节,有助于你在射击、射箭等游戏中更好地瞄准目标。
除了采用可移动的机械屏幕,Facebook在2018年的OC5上也曾展示过一款基于软件的变焦方案:DeepFocus,它的特点是基于眼球追踪,可为游戏渲染逼真且动态的模糊效果。那么为什么要让画面模糊呢?它的作用是让注视点意外的区域保持模糊,从而突出主题,营造一种虚拟的聚焦效果。
据悉,未来DeepFocus还将支持多点模糊和广场图像合成能力,被看做是下一代VR头显的必备技术。
2.眼球追踪(以及相关技术)
提到了基于注视点追踪的可变焦VR显示方案,就不得不提到眼球追踪技术。目前市面上支持眼球追踪的消费级VR头显并不多,以HTC刚推出的Vive Pro Eye为主,不过据Oculus近期的招聘启事显示,他们在寻找负责AR/VR眼球追踪的Reality Lab电子工程师,并可能将这项技术用于下一代VR头显。
那么除了支持显示屏变焦外,眼球追踪还有什么用途呢?首先,它可以用来支持注视点渲染功能,好处是可提高屏幕渲染效率,降低对硬件配置要求,同时还省电。此外,对于视场角可能会更大的下一代VR头显(目前市面上大部分VR头显横向视场角100°,单眼分辨率约1500x1500)来讲,市场角越大,角分辨率越低(因为像素更分散,密度降低)。因此,为了达到与更大视场角匹配的高分辨率,则更加需要注视点渲染。
这项功能可分为软件方案和硬件方案两种,硬件方案比较典型的就是号称配备人眼分辨率仿生屏的Varjo VR头显(并不是消费级VR头显,只是用来解释概念),它为每只眼睛配备两块显示屏,分别为1440x1600分辨率的AMOLED副显示屏和1920x1080分辨率(刷新率90Hz)的micro-OLED主显示屏(刷新率60Hz),用户注视区域配备高分辨率的主屏幕,而较低分辨率的副显示屏则位于人眼余光区域。
去年底Facebook公开的一项VR专利也采用了类似的方案,专利中指出了一种将高分辨率VR屏幕嵌入到较低分辨率屏幕中的设计,这种屏幕能够根据注视点追踪数据来合理分配屏幕位置,达到注视点渲染的效果。
而软件方案的例子如HTC Vive Pro Eye,依然采用单眼各一块屏幕,不过屏幕同样会根据注视点来分配不同区域的渲染力度,着重渲染眼睛注意区域,而非注视区域则采取次要渲染,与之前提到的动态模糊渲染正好相反。
3.五指追踪
目前看来,五指输入/追踪在游戏领域并不能取代手柄,毕竟手柄的界面已经被玩家熟悉,而且上面的扳机和体感反馈的体验感也足够好。不过对于VR社交和更注重动手探索/体验的VR来讲,五指输入功能可为玩家带来更沉浸且逼真的感受。
在去年F8大会上,Facebook就曾展示过其手势追踪的最新进展,并在VR社交应用中,将这项技术用来与虚拟角色交互。
当时这项技术的负责人Guajardo表示:这项技术采用计算机视觉,已经能实现精准的双手跟踪,单手跟踪成功率可达100%,比起其它单手追踪成功率仅90.49%而言,有较大提升。
如果下一代Oculus VR手柄也能支持五指追踪,那么可能对Valve的Index手柄带来不小的竞争压力。不过我们可能不需要等那么久,因为今年2月时,Oculus CTO John Carmack就曾透露,目前正在开发用于Quest的手势识别技术,不过还需要先解决耗电高的问题。
4.面部和肢体追踪
现在市面上VR社交平台所使用的的虚拟头像几乎都是画风比较偏卡通,并不能很好地体现用户的面部特征。不过今年3月Facebook曾公开的Codec Avatar为这一现状带来了转机,它的特点是不仅面部特征与真人非常相近,就连表情也模仿的惟妙惟肖。
据悉,Codec Avatar利用容积摄影技术来对用户面部特征进行捕捉,接着通过VR头显上的多颗摄像头追踪虚拟角色的面部活动,与2016年Facebook所展示的虚拟角色相比,从表情自然性和亮度上都有大幅提高。而在上个月,Facebook再次公开这项研究的进度,在结合AI算法后,已经可以实现用普通VR头显的3颗摄像头就能捕捉表情。
而肢体追踪方面,则是在今年F8大会上展示的,这是一种基于单目摄像头的无标记体感追踪方案,其特点是不仅能识别人体骨骼姿态,甚至还能识别出人体肌肉活动状态。另外,它基于单目摄像头,无需多相机阵列组合,好处是大大降低硬件成本。
这个功能可应用在VR游戏中,让你不需要额外追踪器就能在VR中与朋友踢足球。
5.空间建模&地图测绘
目前Oculus VR头显的pass-through功能的用处并不是很多,主要是用于设置边界安全系统,无法达到真正高质量的AR效果。不过从Varjo今年5月发布的XR-1上,我们看到了AR与VR结合并不是遥不可及的,这款头显搭载两个1200万像素的的前置摄像头,对色彩、阴影和清晰度的渲染效果可达到传统VR透视无法媲美的高度。总之XR-1的透视功能足够清晰,就连沃尔沃的工程师都曾戴着它在路上开车试驾。不过XR-1的缺点是,体积更大了,并不适合定位C端。
因此对于Oculus来讲,它可以将更加优化的透视功能用于优化的边界功能,比如通过对周围空间的测绘,增加更多可以利用的看空间,不会像之前那样,由于地面上有东西,头顶上的空间也被限制在边界外。而且,现有的边界系统也并不能完全保证你不会撞到障碍物,因此优化的空间测绘功能还将有助于提高边界的安全性。
另外,如果VR头显能够更好地理解周围的环境,还可能将VR内容与现实生活中的物品重叠,比如将你的桌子变成VR中的沙包,床头柜变成巨型植物。总之,如果VR的透视功能能够得到提高,那么此前青亭网曾报道过的Reality Rebels根据周围环境生成定制VR关卡的本地多人游戏也会因此受益,可带来更优化的游戏体验。
6.PC VR无线化
这里说的PC VR无线化类似于加上无线配适器的HTC Vive头显,除了HTC,目前市面上的Valve、Oculus等主流VR头显厂商并没有推出第一方无线配适器。Rift S采用inside-out追踪,省去了外部基站,不过依然配备连接线,用户的移动依然受限。
不过Oculus也有在考虑这个问题,比如去年10月时美国专利商标局就曾发布了一项Oculus相关专利,专利中描述了一种基于无线中继系统的无线传输方案,该方案旨在提高头显与计算机之间传输的信号衰减,解决因为距离问题对信号质量的影响,可用于头显与计算机之间传输信号的媒介基本上原理与WiFi扩展器相似。
据悉,HTC无线配适器售价300美元,并不便宜,已相当于一款游戏主机的价格,猜测VR头显无线化方案的价格将成为Facebook需要解决的重点之一。此外,考虑到目前市面上VR无线配适器体积并不小,希望下一代Oculus产品能解决这一问题。
声明:本站在转载文章时均注明来源出处,转载目的在于传递更多信息,未用于商业用途。如因本站的文章、图片等在内容、版权或其它方面存在问题 或异议,请与本站联系(电话:020-37784831,邮箱:edit@fly-tech.com.cn),本站将作妥善处理。
推荐阅读