苹果公司大量的AR/VR专利在上周被公开，其中值得关注的有：用于教育、培训的VR手套;可识别手势的Apple Watch专利。与此同时，还有一项关于AR眼镜中生物识别技术的专利，让我们看到了未来iPhone、Apple Watch和AR眼镜交互融合使用的场景。

　　多关节追踪VR手套

　　首先，关于苹果AR眼镜现在并没有定论，从当前来讲VR是沉浸式体验，AR是增强型体验，MR是混合型体验，长远来看，所有厂商最终的目标都是打造混合型体验。

　　VR技术在游戏、教育、培训、军事训练等领域拥有极佳的效果。关于VR手套中的定义苹果也有明确的需求，那就是可以准确检测手和手指的动作、位置，并且不会受到遮挡等因素的困扰。

　　当然，苹果在一份关于追踪单手指和整个手掌指关节的VR手套专利中指出，该VR手套内置多个IMU传感器，可追踪多个手指动作和整个手掌的动作。

　　图1：手掌模型，图2：加持VR手套的预览图

　　正如上图显示，手掌的每个关节都配有一个传感器，可以追踪到手指每个关节的动作和整个手掌的移动。

　　手套内的IMU的陀螺仪、加速度计传感器数据结合并加以分析以实现追踪手指、手掌的动作，磁力计可以用于检测VR手套的方向，并且手套内部还可加入用于传递触感的传感器，用于实现触摸以及手指之间的捏合等动作追踪。

　　图4B：VR手套传感器布局，图4C：传感器局部帧检测

　　同时，专利中提到在不使用磁力仪的情况下也能用于手套的动作检测的方式，即：IMU检测到的运动还可与局部帧进行比较。

　　图6A：手指交叉情况，图6B：传感器方向扭曲情况

　　该手套可检测手指之间的交叉动作，此时手指会遮挡，例如上图哪只手指在上面，哪只在下，基于上述IMU数据和加速度数据实时分析就能识别出来。

　　甚至，VR手套内还可加入力传感器与触觉回馈模块，温度传感器与加热模块、以此来实现更极致的触觉和温度感知与回馈。例如在VR中手持咖啡杯，不仅能够传递热量，还能将咖啡杯形状信息发送给手套。

　　专利中还指出，VR手套具备板载控制器、信号收发模块、电源模块，以实现单独工作。当然，即便在没有摄像头追踪情况下，也能实现一定程度的手指动作追踪。

　　在手套材料方面，或将采用多层针织物缝合+导电材质细微线缆的方式连接，甚至不同传感器、不同模块进行分层叠加，例如可以只采用IMU模组层用于手指动作追踪，也可以加入触觉和温度传感器以实现更逼真的模拟效果。

　　Avatar VR触感手套

　　实际上，现在做VR手套方案也有不少，其中基于IMU方案的设备虽然相对轻薄，但是并没有触觉和温度感知和回馈功能，而加入触觉和温度感知模块后体机往往变得很大，例如HaptX。当然也有像Avatar VR这种相对轻薄型的具备力回馈手套，无论如何我们更为期待苹果的VR手套最终如何落地，毕竟苹果推出的产品在外观和易用性上应该不会那么“工业级思维”。

　　Apple Watch代替手套

　　可能你觉得，VR手套接受程度很低，每次体验都要戴手套。没错，大家都是这么认为，苹果开发相关专利并不一定代表就会推出相关产品，很可能是技术积累，然后应用到相关领域的产品中。

　　图5C：加持特殊表带的Apple Watch

　　考虑到苹果已经推出了可穿戴设备Apple Watch，在功能性方面，其不仅可作为相当全面的运动记录监测设备，同时还能用于心率、心电图等健康方面的监测。

　　当然，作为一款穿戴设备Apple Watch天然就具备一些和皮肤相关的监测能力。这不，同一天公开的另一项苹果专利就使用Apple Watch用于VR游戏等场景的手势追踪。

　　图5C：特殊的表带，图4A、4B：可追踪到静脉血管覆盖区域，图6B、6C分别是张开手掌和攥拳对应的脉冲信息

　　据了解，Apple Watch内集成了大量的传感器，包括用于心率等。而这项手势专利则基于手掌的静脉图像特征，专利中提到一种包含传感器/摄像头的特殊表带。

　　其能够在手腕读取多处特征图像信息，然后将这些信息转换成一个对应的代码，基于数据特征可以通过这些代码判断手掌的不同动作。

　　苹果在专利中表示，通过记录手掌不同的动作可实现在VR中游戏的虚拟对象交互，甚至是iPhone接打电话等功能，意味着通过简单的手掌动作即可代替部分触摸或语音的处输入，这对于穿戴设备而言无疑是一种巨大的体验提升。

　　可能你会说，基于Apple Watch的方案相对简单，只能识别手掌的相对较大的动作。不过苹果还提到，可以通过在不同时间获取的静脉图像，加以对比和分析，从而实现关节动作追踪和多姿态追踪。

　　图5A：可基于Apple Watc中具备并可获取的PPG(光电容积脉搏波描记法)信号实现代替表带上的多个传感器

　　图7B：通过Apple Watch内置传感器代替多传感器的实现方法

　　图26、27：手指套手势追踪方案

　　实际上，今年1月份公开的苹果申请的一项专利，其类似于通过“手指套”来实现手势识别，其通过在手掌上加上少数几个手指套即可完成手势识别。

　　充分利用生物识别传感器

　　同样在近期公开的一份苹果公司关于面部动作追踪的专利，其通过在AR/VR眼镜内置大量传感器来监测咀嚼、眨眼、微笑、皱眉等一系列面部动作。甚至，苹果指出这项技术未来可应用到普通的近视镜、太阳镜，老花镜等系列设备中。

　　可记录不同的面部动作

　　据了解，其记录面部动作的原理类似Apple Watch中的PPG技术，通过PPG图像数据转换成对应代码，然后通过代码来确定不同的面部动作。

　　图2A：集成大量生物识别传感器的AR/VR眼镜

　　同时，苹果还提到在AR/VR眼镜中还可加入众多生物识别传感器，包括PPG传感器、ECG(心电图)传感器、GSR(皮肤电信号)传感器，压力传感器、eFiekd电场传感器、热传感器等等。

　　因此这些和健康相关的传感器可以提升很多玩家的身体状态，例如呼吸频频率、心率、血压、心率变异性等，如果将这些数据加入游戏/应用内，将带来颠覆性的体验。

　　毫无疑问，苹果在穿戴设备上的思路就是充分利用生物特征，这显然得益于苹果Apple Watch的思路，也给众多穿戴设备+生物信号结合打开了思路。如果没有苹果的专利，我差点忘了AR/VR头显也是穿戴设备的一种，可是现阶段的穿戴设备基本上没有发挥其特性。

声明：本站在转载文章时均注明来源出处，转载目的在于传递更多信息，未用于商业用途。如因本站的文章、图片等在内容、版权或其它方面存在问题或异议，请与本站联系(电话：020-37784831，邮箱：edit@fly-tech.com.cn)，本站将作妥善处理。