解锁VR未来的秘钥:Vive Wave开放平台上的手势识别技术
发布时间:2017-11-15 12:22 来源: 87870
11月14日举行的2017 Vive开发者峰会上,HTC VR副总裁鲍永哲介绍了VIVE WAVE VR开放平台。而最新发布的VR一体机Vive Focus也将与VIVE WAVE整合,开放硬件接入架构。
VIVE WAVE VR平台开放式硬件接入架构
鲍永哲给出的第三方硬件,包括6DOF手柄、眼球追踪以及手势识别。而在这之中,6DOF手柄和眼球追踪都是HTC Vive头显的标配,对于首次引入Vive体系的手势识别技术我们产生了好奇,并在第一时间采访了鲍永哲PPT上的手势识别合作伙伴——uSens凌感科技的商务副总裁陈佳敬。
陈佳敬介绍:“我们与HTC VIVE的团队已经进行了很长时间的产品测试,作为手势技术的提供商,我们希望能够让更多的C端普通用户,通过最自然的手部交互体验到真正的VR。能够成为VIVE WAVE平台的合作方,我们相信这是VR和手势识别技术走向大众市场的一个不错的起点。”
如果说Vive这样的PC VR头显和Daydream这样的移动VR头显更多的是电脑和手机的延伸,那么VR一体机可以说是真正意义上为虚拟现实而生的智能设备。而就像鼠标和键盘改变了PC的使用,触屏技术带来了智能手机的诞生,一个最适合VR的交互技术,将是VR一体机蜕变的关键。
包括GearVR、Daydream、国内的小米VR以及刚刚推出的Oculus GO VR一体机在内,国内外大部分的高端移动VR头显(不论是VR眼镜盒子还是VR一体机)都是用的3DOF体感手柄作为最主要的交互手段。而事实上,为了匹配绝大多数的VR内容,Vive Focus也配备了3DOF体感手柄作为最主要的交互手段。
相比于最早的GearVR使用的触摸板,3DOF手柄的体验好上不少,但是一来3DOF手柄的定位精度不够;二来对于希望完全沉浸在虚拟世界的用户来说,3DOF手柄的交互方式不够自然所以Vive Focus中,Vive跨时代的引入了一项新的交互技术——手势识别。
Fingo手势识别演示
陈佳敬介绍了引入到VIVE WAVE平台的手势识别解决方案Fingo。Fingo采用的是Inside-out追踪技术,模组由双目红外摄像头构成,用来追踪手部26自由度,通过计算机视觉算法实现对手部自然姿态的捕捉。
简单来说,在摄像头追踪到的范围内,用户只要伸出双手,不需要规定具体的动作,人们常用的各种手势都可以识别出来,从而实现与虚拟世界的交互。之前我们曾经报道,uSens发布了Fingo的2.0版本,很大程度上用算法解决了手势识别的遮挡问题。新增一系列双手交互动作,如握拳、手心写字、十指交叉等,并可实现对十个手指的灵活细微运动的追踪。
双手手势识别
在人与自然世界的交互中,不论吃饭、写字、拿东西还是操作机械,手的交互占到了人与自然交互的90%以上。而在模拟真实世界的虚拟现实当中,手势识别也可以让人与计算机交互发挥更大的想象空间。就像触屏给2D的PC、PAD和手机屏幕提供了自然的交互手段,那么手势识别就是把VR/AR这样的虚拟世界变成一个巨大的3D触屏。
虽然这项技术在VR/AR中有广阔的前景,但此前一直未能在VR头显上得到普及。
一方面,是因为此前技术尚未完全成熟。此前微软曾在AR产品HoloLens上应用了这一技术,但是只能识别3-4种手势,并不能做到还原人体自然的双手。当然,这个技术的问题并非没有解决之道,以uSens为代表的手势应用方案,已经完全解决了这个问题。
另一方面,也是最大的问题,是目前支持手势识别的应用和游戏压倒性的不足。手势识别是一种全新的交互技术,就像十年前触屏刚刚出来一样,需要开发者探索如何把技术本身和内容相结合。事实上,在昨天的活动中,可以展示的手势识别应用就寥寥无几。
显然HTC Vive和uSens也意识到了这个问题。去年uSens以20万美元的奖金举办了一场基于手势识别技术的中美VR内容开发者大赛,2017年又与HTC VIVE共同赞助了全球VR hackathon,使用uSens手势识别技术开发的Face broke获得了全球冠军。
《Face Broke》
新的交互技术意味着新的机会,uSens的手势识别+Vive Focus一体机,作为一个新标配,似乎已经打开了VR的下一扇大门,接下来也许就是开发者们需要思考,如何用手势识别这种全新的计算机交互技术,在VR中做出《愤怒的小鸟》这样的现象级应用。
推荐阅读