VR终将“听声辨位”虚拟恍若现实
发布时间:2018-03-05 11:20 来源: 芬莱科技
声音的来源定位是我们如何理解我们的环境并对其作出反应的关键。虚拟现实中同理。但现实生活中的声音来源定位要在虚拟环境中实现,是很困难的一件事。
这就是音频成为VR领导者专注于创新的一个重要领域的原因。VR音频技术的最新进展,包括复杂的“空间音频”解决方案,正在改进虚拟环境中声音的定位问题。
我们的大脑处理声音和视觉输入的方法完全不同,这给VR带来了挑战。
当我们用眼睛看东西时,视网膜的受体细胞识别光线照射下的虚拟物体或物理物体。这些信息被传递到大脑,用来识别物体位置。所以在VR中,我们可以利用这个原理欺骗我们的大脑,达到仿真的效果。
但音频是另一回事。
大脑要根据双耳时间差、双耳声级差等各种复杂因素计算出声音位置,不同方向的声音与我们的身体进行交互。
除此之外,距离定位是另一个问题,判断距离需要计算响度、混响、声音到达耳朵的时间延迟等。
所有这些因素(包括其他因素)都会影响到VR音频技术的发展。我们需要使用专门的录音系统和算法来模拟自然音频。
音频公司一直试图重新创造定位方法,更好模拟现实世界中的音频。最有效的方法之一已经在VR中得以应用,称为“双耳音频”或3D音频。
双耳音频已经存在了几个世纪,但耳机和手持音频设备的兴起,使它重新出现在人们视线中。
但虚拟现实并不是双耳音频唯一的应用。在YouTube上,有大量双耳音频剪辑,用于放松、学习、娱乐以及其他用途。效果是显著的:例如,在下面的“3D理发”视频中,你可以听到身后或头顶的修剪声。
但尽管有种种优势,光是双耳音频也并非虚拟现实的理想音频技术。在一个VR环境创建最有效的声音,声音需要随着用户的定位变化而变化。
耳机是提供 VR音频的最佳选择,因为可以隔离外部的声音。与此相反,外部扬声器不适合,因为即使是最好的“环绕声”也会被外界声音影响,减少沉浸感。
最基本的问题是头部运动:当我们的头部位置改变,VR中的声音也需要相应进行距离或方向的改变。如果没有,那么虚拟体验就不那么真实了。
头部跟踪技术有助于解决这个问题。如3D Sound Labs、Dysonics等初创公司专注耳机与运动传感技术。
Ossic(原Sonicvr)正在开发ossic x耳机,其中每个组件都被设计为身临其境的3D音频播放。 Ossic还未正式发布ossic X,但Kickstarter上超过一万名支持者众筹超过了270亿美元,充分表现出该公司的潜力。
Ossic X获得如此多支持者的原因是什么?因为ossic X的“空间化”3D音效功能可以提供VR产品的最理想的音频体验。下面我们来了解空间音频技术是如何欺骗大脑对声音的定位。
空间音频技术使用算法提供与现实世界一样的声音,包括音高、音量、混响等因素。
但是方向和距离并不是大脑计算声音位置的唯一线索。
如前所述,声波反射在人体的变化对我们大脑对声音定位提供重要信息。双耳音频也无法传递这种信息。
HRTF(头相关变换函数)可以提供高度身临其境的音频空间。它以声波的方式在不同角度击打我们的身体。通过头部跟踪头显,进行定制的测量。
但目前捕捉一个人的HRTF数据成本很高。因此目前主要使用的是“通用”HRTF,数据来自公开可用的数据集。
有几家初创公司也正在致力于空间音频新技术。
- G'audio的生产工具包可以精确定位三维环境的声音。他们最近试行一种新的解决方案,在VR中实现流媒体空间音频。
- Kinicho,最近入选AR / VR加速器计划Augmentor,正在开发一个“声音现实引擎”,用于制作AR / VR高保真空间音频。
无论是空间音频算法还是这些公司都会继续发展。但前提是更多人采用VR,因为科技公司提高算法需要更多的用户数据。
推荐阅读