用怪诞的形状和颜色，让VR里的朋友了解你的情绪
发布时间：2019-06-13 16:47 来源: 青亭网
今年3月时Facebook曾透露，为了解决VR头像缺乏生气、不够形象的问题，Reality Lab欲通过3D动捕技术来捕捉用户准确的面部表情和情绪，打造逼真的动态VR头像。从演示视频中来看，其系统对夸张的人脸活动可实现准确捕捉，头像外形与真人的相似度也很高。
当然以现有的技术，Facebook的这款头像系统还难以普及，而且其对于细微表情的模拟可能也没有那么好。
发明者Bernal谈原理：https://v.qq.com/x/page/t0883ebw9ax.html
看起来，距离在VR中实现真正的“数字分身”还有很长一段距离，但这并不妨碍我们去尝试。比如近期，美国麻省理工学院媒体实验室流体界面小组的一名博士生Guillermo Bernal，他就依靠自己研发的VR情绪感知与表现系统Emotional Beasts获得了该校年度Harold与Arlene Schnitzer视觉艺术奖第一名。
据了解，Bernal的研发成果其实是一个两部分解决方案，首先，Bernal在VR头显上加入多个微型生物传感器，并配备一个情绪感知头盔，接着，将传感器收集到的微动作数据传输给Emotional Beasts系统，转化成在VR中可视化的色彩或纹理。
Emotional Beasts对于不同情绪的表现
Bernal希望通过Emotional Beasts来表达人的细微情绪，比如：即将生气的样子、忍不住冲动而尴尬的样子、谨慎又好奇的样子，不过这些面部情绪并不是通过对用户表情的复制来完成，而是采用了独特的方式。
从视频和图片来看，该解决方案不管是硬件外形，还是软件画风都足够硬核，密集恐惧症、尖端恐惧症患者看了应该会很难受。至于为什么要这么设计呢，大概是出于对艺术和功能的考量，不过抛开它们鲜艳的色彩和华丽的外形，Bernal在该方案中加入了许多巧思，就让我们一一来看看。
用于VR头显的传感器
添加定制传感器的HTC Vive
Bernal的情绪感知系统设计十分精密，他在一台HTC Vive VR头显加了一层搭载微型传感器的柔性印刷电路板，上面的传感器可识别大脑信号(EEG等)、皮电活动、声带和肌肉活动还加入红外线眼球追踪传感器，在头显的泡棉外面，他还加上了干电极，用于检测用户额头的皮肤张力，以及皮肤水分(是否出汗)，这些数据可显示出用户是否情绪激动。太阳穴位置上的泡棉上还加入了心跳检测器，而且Bernal还将Vive的麦克风加入了识别语气的功能。
除了改造的头显，Bernal还研发了一种五颜六色的尖顶帽子(戴上去仿佛变成外星人)，这款帽子的特点是非常柔软，其搭载光学纤维，在识别到用户活动后，会释放不同图案的LED光，供传感器识别。Bernal称：帽子上LED灯的原理与神经网络从大脑中释放微伏信号很像。
搭载光学显微的布料帽子
关于Emotional Beasts系统
传感器在收集到大量信号后，会传输到运行特殊算法的单片机中进行计算，为Emotional Beasts情绪表现系统提供用户的多种信息，如：身体状况、焦虑和压力/兴奋等级，并推算用户行为和决定与生理状态改变的关系。
接着，Emotional Beasts会通过开源的Unreal图形引擎将这些情绪和身体数据渲染成3D可视化的人像纹理(看起来十分抽象)，也就是说，VR虚拟形象的外观采用根据情绪而变化的线条或外壳，比如：快乐和悲伤可通过线条收缩和颜色的变化来表达。同时，Bernal也提出通过3D颗粒来表现用户情绪，VR形象外表的颗粒可通过颜色、亮度来显示情绪指数(生气的时候可变成红色)。
关于挑战与机遇
尽管Emotional Beasts的原理听起来很酷，但人类的情绪本身十分复杂，这一点Bernal也承认，提高情绪识别和计算的准确性依赖大量数据支持。毕竟，并不是每个人表现情绪的方式都相同，就好比一个西方白人和一个亚洲中年女子，他们表达愤怒的方式肯定有很大区别，文化和地域对其有很深影响。
由于生物信息属于用户隐私，因此很难在市面上找到公开数据，因此Bernal计划在今年夏天开发一款简易版Emotional Beasts系统，供全球用户测试。他希望通过这种方式，在获得许可的情况下合法获取人类情绪信息，创建一个全球情绪数据库。
关于未来应用场景，Bernal认为除了VR社交，Emotional Beasts还可以结合AI系统，来识别早期精神疾病。的确，目前已经有公司在用VR头显来识别自闭症、阿尔茨海默症等.HoloLens联合发明者Avi Bar-Zeev此前也表示：通过结合眼球追踪、EEG、皮电反应、脉搏和血压传感器，VR在情绪识别上也会大有作为。
推荐阅读
