Facebook:结合手势识别技术,将任何物体变成手柄
发布时间:2020-05-19 11:04 来源: 青亭网
近期,Facebook Reality Labs的科研人员公开了一项与AR/VR交互相关的新研究,研究中指出了一种可将周边日常物品作为手柄的全新体感交互系统:Gripmarks。科研人员称,该方案可用于AR或者VR,可增强使用者的沉浸感。
据了解,Gripmarks利用手势识别技术,通过与预设手势进行对比,识别使用者握住易拉罐等物体的手势,并计算器手中物体的形状,为该物体生成支持交互的虚拟界面。
具体来讲,当你握住一样物体时,你需要做出特定手势来将它作为手柄激活,接下来的使用方式类似于手机触屏,你可以在该物体上进行多种不同功能的选择,比如播放媒体、计算等等。
将周围物体作为手柄的好处在于,可进一步增强AR/VR的沉浸感,在与虚拟界面交互的同时,还能感受到真实物体带来的反馈。VR/AR中的虚拟界面与真实物体形状吻合,不容易破坏虚实结合的逼真感。而且,将普通物体作为手柄也更方便,无需再购买额外的体感外设。
此外,Gripmarks支持双手和单手输入两种模式,双手输入指的是一只手握住物体,另一只手进行输入,而单手模式指的是你可以将普通的罐子、笔作为输入工具,单手举起并用手势激活它,就可以在VR中进行输入和创作。
目前,Gripmarks可识别多种物体,包括书、钱包、圆锥形、子弹型、笔、苹果等。
总之,Facebook研发的这个全新的交互系统需要用到Quest、Rift S等头显所配备的手势识别技术,也可以看做是对手势识别缺乏体感反馈的一种补充。接下来,科研人员计划将Gripmarks传感手套相结合,进一步提升体验感。
推荐阅读