网易首款AR眼镜,成本200元的HoloKit能否对标微软HoloLens?
发布时间:2017-07-20 13:57 来源: 青亭网
如果你知道AR(增强现实)眼镜是个啥,就应该了解在目前的市面上,体验最棒、技术最强的就是微软公司的HoloLens。错过了移动互联网大潮的微软,为了赶上混合现实(Mixed Reality)的下一波,不惜投入重金砸出来了这么一款黑科技满满的眼镜。
“把一块虚拟图像自然地贴合到人的视野里,就像真实物体一样”,这么简单的一句话,基本就是所有增强现实/混合现实体验的基础了——实际上,AR眼镜的问题简单来说,就是一个“定位”和“显示”的问题,前者让虚拟物体能固定在原地不会乱飘,后者让虚拟物体看上去色泽饱满不会显得假。
然而,说起来容易,要实现这一切太困难了。微软甚至为了处理所有从摄像机和传感器序列传来的数据,专门给HoloLens打造了一块HPU芯片。定位技术SLAM方面,搭载了四台摄像头加一台深度摄像头的HoloLens效果非常稳定,绝对吊打目前市面上的一切设备;遑论屌爆的光波导显示方案和3D音频系统……当然,它的价格也是非常感人,大陆官网上价格分别为商用版39188元和23488元。
不过,就在苹果推出ARKit前后的六月初,一个ID为“Amber Hu”(真名胡伯涛)的家伙在知乎上贴出了自己的HoloKit方案,号称用30美元成本的纸盒子打造“比HoloLens效果还好的混合现实眼镜”,在业内引发了不小的轰动,不少AR圈公司的高管纷纷在朋友圈转发此文章,也有直接发给笔者本人的。自然而然,也引发了一些质疑。
但是,紧接着苹果的ARKit很快热潮起来,国内媒体铺天盖地的报道、培训机构闻风而动的跟进,各种ARKit相关demo如雨后春笋一般诞生,HoloKit的声音也自然而然地被淹没下去了。
没想到的是,7月15日网易又突然宣布,网易严选会代理HoloKit这款产品。网易相关人士表示,这款产品将于大约年底登陆网易严选,到时候产品的各方面都将得到升级。胡伯涛也告诉青亭网,HoloKit这个项目目前已经和他基本上没什么关系了,“网易愿意商业化,就授权给他们了”。
那么,HoloKit这玩意到底怎么样呢?一个成本200来块的盒子,对标2万多的微软HoloLens。这事儿听上去靠谱吗?
和HoloLens比,到底怎么样?
按胡伯涛在知乎上放出的对比表来说,从FOV上,HoloKit号称和微软HoloLens相比具备较强优势、清晰度也比较高。当然Magic Leap除了某几个记者见过以外,“还是传说”,并且效果很可能还没HoloLens好,就不说它了。
但不管PR上怎么说,首先,我们可以先把结论放在这里——“比HoloLens效果还好”肯定无从谈起,“效果”是个多元化的东西,是包括定位、显示、交互等多方面的综合产物。像国内外某些公司那样某几个参数比HoloLens高就堂而皇之地出来吹了,在PPT上无敌于天下,是很不好的毛病。
从实际产品可以看出,这玩意和一体式设备HoloLens、要连电脑的Meta 2都不太一样,是需要插手机的设备。因此可以理解成,这是一款AR手机盒子。如果你不知道这是何物,可以把他认为是类似谷歌之前出的纸盒子Cardboard和国内一大堆VR公司做的产品,如小米VR玩具版等。
其实,AR盒子也不新鲜:国内还有一家名叫RealMax的公司在做类似产品、以及光场视觉的AR BOX,但这些在显示和定位效果方面都不能让人满意。Meta前员工出来做的DreamWorld显示倒是还行,不过定位方案还没发出来。国外还出来过一个众筹的Aryzon,虽然收了不少钱,但现在效果还不知道怎么样。
从笔者与业内人士交流的反馈来看,大多数人似乎对于AR盒子并不看好。
一位业内人士说,他看过国内两家AR公司的手机盒子方案,“效果都相当一般”,不过“也犹豫了很久,曾经想过自己做一款。毕竟便宜。”当时笔者最担心的是,这种较为廉价的AR体验,会不会让用户产生AR也“不过如此”的印象,从而伤害整个产业的长远发展呢?说白了,还是“显示”和“定位”两个核心问题解决的太糟糕。
那么,这两个核心问题,HoloKit解决得如何呢?接下来让我们抛开成见,从技术方面来分析一下这款产品。
AR手机盒子就要不得吗?
实际上,如果能解决好定位和显示的问题,则手机上的AR并非不可行。
君不见苹果也在6月初发了一个ARKit?其实ARKit用的就是iPhone手机/iPad上的RGB摄像头,但“定位”这件事儿它做得相当出色——在苹果实际演示中,虚拟物体非常牢固地待在桌面上,不会像某些国产的AR SDK那样,飘来飘去。
先说显示,HoloKit的光学方案实际上非常简单,把iPhone屏幕上的画面通过一个镜子,再通过一个半反半透镜反射到眼睛里,就是一个镜面反射,类似潜望镜一样,其实光学方案和Meta差不多。国内不少的AR眼镜也是这么玩的。
从体验来看,HoloKit的清晰度和FOV都比较大——这的确比起HoloLens那34度的视场角要大,当然这也不能苛责HoloLens,他们光学方案天生就决定了FOV不能这么大,色差也的确会出现一定问题。
但半反半透这种光学方案的问题在于,真的太大、太原始、太笨重了,无论是90度FOV的Meta、100度的DreamWorld和各种手机盒子,都离我们想象中的“普通眼镜”形态的AR眼镜相去甚远。因此,未来的光学方案绝不会是这种形式的。
再说定位方案,HoloKit的定位方案虽然还是有点略飘,但整体还算比较稳,效果可称不错。不过无论是苹果ARKit还是HoloKit,都并非真正的SLAM。从苹果放出的文档来看,其很大可能性是VIO(视觉惯性里程计Visual–Inertial Odometry)。
VIO是用单目或双目摄像头做识别匹配和深度估计等,用惯性测量单元去做初始水平面估计和6自由度,最后再用一套算法做拟合,当然,这套算法本身的难度是非常高的。
VIO勉强可以理解成是一种模拟,而非真正地像HoloLens那样对周围环境进行识别和重建完成SLAM,在这方面HoloLens是无敌的,但拿手机和它比是不公平的——
SLAM对于手机的资源来说是巨大的消耗,基本不太可能在手机端实现。因此也就可以理解,为何目前HoloKit是实现不了遮挡的(即把手伸到虚拟物体上是没法把它挡住的),臣妾实在是做不到啊。
胡伯涛本人也很大方地承认了这并非SLAM而是VIO。他的算法实际上也并非自己的,而是参考香港科技大学内部的论文,HoloKit是基于后者开源的定位项目VINS开发。他本人则是负责把这套本身用于无人机的算法做到了手机上。他对青亭网指出,整个算法延时大概100毫秒。
不过,虽然定位和显示方案都受到一定限制,但AR手机盒子也并非那么不堪。在眼下AR眼镜还无法普及的情况下,手机无疑是让大众能够接触到AR最直观的设备。
我们可以想象一下,AR手机盒子和手机上的AR相比,区别只是一个需要你举着手机看屏幕,另一个把手机放到头上,通过反射到你眼睛里看手机上的内容罢了。也就是说手机在这里代替了传统AR眼镜的微显示端。因此,如果产品不是太重、显示效果OK、虚拟物体定位得很稳,“AR手机盒子”完全可以作为真正的AR眼镜出现前的一种过渡方案。
笔者愿意相信胡伯涛所谓“希望更多的开发者接触到混合现实,启迪更多的人来创造混合现实未来”的初衷——这种廉价方案对于教育早期市场的确有积极意义。只要前提不是说“用30美元成本的纸盒子打造比HoloLens效果还好的混合现实眼镜”就完美了。
能不能做到安卓上?
那么,和苹果的ARKit相比,HoloKit的算法如何?这方面胡伯涛也比较坦诚,他称ARKit的帧率要比HoloKit要强“一倍”,因此开发者可以选择自己喜欢的方案。胡伯涛一开始就把HoloKit开源了,开发者可以选择自己喜欢的方案用于HoloKit。
只是,HoloKit其最核心的技术实际上就是它的定位方案。如果离了这套算法,照我们上文的介绍,实际上本身硬件方面并无稀奇。
胡伯涛告诉青亭网,目前HoloKit还是只支持iPhone 7 Plus和iPhone 6s Plus,并不支持一般的安卓机型。在实际开发中,他发现苹果手机的一致性非常好,调好一台设备基本就差不多了。而安卓的设备多种多样、眼花缭乱,每台手机的IMU和相机的参数都不一样,非常难标定,甚至同一款手机的批次不同,参数也不同。
现在虽然谷歌自己有一套基于TOF的AR平台Tango,但是由于必须具备TOF模组,支持的手机非常有限,目前只有两台。在苹果本身ARKit来势汹汹的情况下,如果能把HoloKit的算法移植到一般的安卓平台,让非Tango的安卓手机也能使用,显然能够产生更大的潜力和更多的想象空间。
不过,这一要求对胡伯涛团队或许“要求过高”了。
目前,胡伯涛团队只有他一个人算是全职,另有一名叫朱逢源的斯坦福同学算是兼职,“我们只有一个半人,实在没有精力适配所有机型了。就把东西开源,把后续的工作留给开发者吧”
HoloKit在现场采用了一套国外较为有名的单目手势识别SDK Manomotion,还有听说是从“淘宝上花10块钱”买来的手柄,展示了未来交互方式的可能。而国内进入AR领域较长时间的触景无限在网易发布会现场宣布,将会给HoloKit提供手势识别SDK,交互AR游戏体验等。也许随着更多开发者和公司的进入,在未来还会有更多的交互可能性供选择。
推荐阅读