2019 年度广东省重点领域研发计划 “虚拟现实”重点专项申报指南

(征求意见稿)

　　本专项以国家战略和广东产业发展需求为牵引，围绕虚拟现实产业发展亟待突破的关键领域和薄弱环节，集聚国内优势团队，组织优势力量集中开展技术攻关，力争取得一批标志性成果，推进我省虚拟现实技术及产业创新发展。

　　2019 年度指南共设置超大视场高清虚拟现实显示设备研发、大范围场景跟踪定位与自然人机交互关键技术和产品研发、虚拟现实核心引擎关键技术研发及应用等专题。项目实施周期一般为 3 年。

　　一、竞争择优类

　　专题一：超大视场高清虚拟现实显示设备研发

　　(一) 研究内容。

　　研究用户的三维视觉感知机理以及基于用户感知评价的显示系统优化方法，提升头戴式显示系统的显示效果与舒适度;研制匹配用户瞳距、视度差异的沉浸式超大视场虚拟现实头戴式显示设备，研究多通道拼接式显示系统显示效果模拟仿真工具，研究适用于超大视场高分辨率头戴显示拼接、融合、渲染和显示的呈现工具;面向虚拟现实头戴式设备，研究融合低功耗处理技术、高清视频编解码技术、双屏显示技术、环绕音设计技术与专用光学模块设计技术(反畸变反色散)的专用高性能低功耗虚拟现实 主控专用芯片。

　　(二) 考核指标。

　　项目完成时，须研制基于国产芯片的超大视场高清晰度头戴 式显示装置。显示器光学性能实现双目水平视场角≥150°，双目水 平重叠视场角≥65°，出瞳距离≥13mm，出瞳直径≥10mm。显示器 渲染性能实现显示延时≤25ms，高清视频解码≥8K/60FPS ;实现 双屏高清显示，单眼分辨率≥2.5K/90FPS;实现持续运行≥4h，实现反畸变、反色散及异步时移，实现虚拟现实设备关键模块动态 电源管理，支持高性能 LPDDR4X 设计。构建基于光线追迹的超大视场头戴式显示系统显示效果模拟仿真软件，能够在设计阶段正确模拟多通道拼接头戴式显示设备。项目执行期内新申请发明 专利≥20 项，相关产品或元件在虚拟现实行业获得应用，项目实施 三年内相关产品与服务实现经济产值≥1 亿元。

　　(三) 申报要求。

　　须企业牵头申报。

　　(四) 支持强度。

　　本专题拟支持1个项目，资助额度2000万元/项。

　　专题二：大范围场景跟踪定位与自然人机交互关键技术和产 品研发

　　(一) 研究内容。

　　面向虚拟现实中人与物的跟踪定位与交互问题，开展大范围场景跟踪定位与自然人机交互关键技术研究。研究融合图像特征、

　　光学、惯性传感的高精度空间定位技术;研究跟踪定位优化算法;研制跟踪定位专用设备与装置;研究基于三维感知的自然人机交

　　互技术，包括手势交互感知信息的推理和逻辑演化，以及基于惯性传感的动作捕捉和自然手势识别关键技术、交互体系与测评系

　　统;研究手势识别基础模块及相应交互套件，研制具备人体姿态 识别功能的穿戴式惯性全身动作捕捉套件通用产品。

　　(二) 考核指标。

　　项目完成时，须形成多模态交互感知数据自动配准模型、惯性传感的手势识别和人体姿态识别模型以及沉浸式三维听觉感知模型;支持视听觉、手势、体感、触觉、生理等多模态信息类型， 多模态交互行为识别率≥90%，触力觉反馈平均单次时延≤10ms， 三维听觉感知误差≤12 度;用户跟踪范围≥1000m2，用户姿态跟踪 误差≤5mm，跟踪数据刷新帧率≥60fps，手部关节点跟踪误差 ≤3mm;形成可穿戴式惯性传感自然手势交互产品以及具有空间追踪功能的通用模块，形成虚拟现实内容人工智能生成工具。产品 的惯性传感数据采集速率≥400FPS，无线通信刷新率≥120FPS，无 线通信平均时延≤10ms;制定虚拟现实动作捕捉和手势识别行业及地方标准(广东)1 套，项目执行期内新申请发明专利≥15 项;相关产品与服务在虚拟现实行业获得广泛应用，用户量≥100 万人次， 项目实施三年内相关产品与服务实现经济收入≥1 亿元。

　　(三) 申报要求。

　　须企业牵头申报。

　　(四) 支持强度。

　　本专题拟支持1个项目，资助额度1000万元/项。

　　专题三：虚拟现实核心引擎关键技术平台的研发及应用

　　(一) 研究内容。

　　面向虚拟现实和行业仿真开发需求，以构建满足专业性、易用性和兼容性的工具引擎为目标，研究支持多领域应用的虚拟现实核心引擎，基于跨平台运行架构和核心数据层，整合上层应用系统和操作系统，兼容适配虚拟现实外设，形成虚拟现实生态链。研究虚拟现实关键核心渲染技术，实现真实感实时场景渲染;研究智能化自适应场景编辑界面，实现触屏手势和语音交互等多用户多平台多终端在线协同交互式开发，并在专业领域进行示范应 用。

　　(二) 考核指标。

　　项目完成时，须输出虚拟现实核心跨平台工具引擎，支持常 用三维模型格式;支持光线追踪、动态实时阴影、HDR 技术、物理引擎以及脚本编辑。脚本编辑器具有自适应功能，可根据用户使用习惯简化操作，支持移动终端触摸屏交互和语音交互。提供 支持并发≥100 的虚拟现实多人协作交互系统;支持增强现实三维 对象识别数量≥1000，可进行无标签的增强现实三维物体对象识别 及三维姿态分析;可实时传输音视频，支持 H.265 协议;支持手势识别、动捕设备、语音识别等接口;支持虚拟现实呈现系统的 沉浸式体验，刷新率≥30FPS，动作捕捉精度达到亚毫米级。提供 基于 P2P 协议的分布式虚拟现实云平台系统，支持所见即所得的操作流程培训编辑;支持从云平台导入导出三维资源;支持内容 数量≥100000;支持用户数≥1000 万。新申请发明专利和软件著作 权≥20 项。

　　(三) 申报要求。

　　须企业牵头申报。

　　(四) 支持强度。

　　本专题拟支持1个项目，资助额度2000万元/项。

　　专题四：高真实感虚拟化身生成与智能感知技术与应用研究

　　(一) 研究内容。

　　面向虚拟环境中多用户同虚拟化身进行交互的需求，研究用户全身模型高真实感三维重建方法，实现高精度人脸材质和复杂表情的数字化;研究集成多种视觉感知传感器、视觉成像器件、神经网络处理芯片等的虚拟现实感知计算平台;研究虚拟现实环境下用户眼动、面部表情、手势和肢体动作的实时在线智能感知与虚拟化身情感逼真再现方法，研究虚拟现实环境下用户-虚拟环 境、用户-虚拟化身的三维空间交互技术及手-眼协同交互方法;开展技术应用验证，提升多用户在虚拟环境中交互的效率以及体验， 并最终在网络社交、老龄陪伴、影视制作等领域进行应用示范。

　　(二) 考核指标。

　　项目完成时，须完成高精度人脸面部表情及皮肤物理特性动态采集系统，可获得人脸表面的漫反射贴图、高光反射贴图和光 度法线贴图，贴图分辨率≥4K;高精度模型网格数≥500 万面，应 用模型网格数≤100 万面;交互过程中系统可捕获的人脸表情≥72 种，表情捕捉帧率≥30FPS，表情变化时延≤50ms。新一代虚拟现 实感知计算平台，视觉感知计算平均单次时延≤10ms;三维头部姿 态平均误差≤5°，三维视线角度平均误差≤10°，人脸表情重建平均误差达到毫米级，手势和姿态重建平均误差达到厘米级;整体重 建帧率≥30FPS。三维空间交互行为识别准确率≥90%;喜怒哀乐等 基本情绪感知准确率≥90%。形成虚拟现实智能感知交互行业/地方 /团体标准≥2 套，项目执行期内新申请发明专利≥20 项。相关产品 与服务在虚拟现实行业获得广泛应用，用户量≥100 万人次。

　　(三) 支持强度。

　　本专题拟支持1个项目，资助额度1000万元/项。

　　专题五：面向智能制造关键过程的虚实融合技术研究与应用

　　(一) 研究内容。

　　面向现代工业制造中产品设计、装配、培训等关键过程，以优化品质、提升效率、降低成本为目标，研究基于虚实融合技术的产品敏捷迭代设计方法，包括人—物高精度动态定位、虚实部分外观一致性融合、产品半实物部分最优设计制造、产品虚拟部分叠加验证与快速设计迭代等;研究基于视觉计算与呈现的辅助装配技术，包括关键部件智能检测与识别、部件参数与装配信息自动检索、装配过程中视觉场实时感知、视觉场优化的装配辅助信息智能呈现;研究支持多人协同的制造业虚拟培训技术，包括多人三维空间联合定位、培训内容跨用户视图一致注册、支持互

　　动式培训的多通道人机交互、培训内容绘制和交互的便携式平台;选取现代工业制造中的代表性行业，如汽车制造、飞机制造等，面向设计、装配、培训等关键过程，开展技术集成与应用示范研 究。

　　(二) 考核指标。

　　项目完成时，须形成面向汽车制造、飞机制造等行业的虚实 叠加敏捷设计平台，虚实对象外观光度属性一致性≥80%;研发智 能装配辅助系统，关键部件自动识别正确率≥80%，装配指导信息 呈现正确率≥80%，视觉场感知精度达到厘米级;研发支持多人(≥3 人)协同交互的虚拟培训系统，多用户视图间配准误差≤5 个像素， 同步误差≤500ms，支持多个(≥2 个)主动交互通道，且多通道联合交互的识别正确率比单通道显著提高;项目执行期内新申请发 明专利≥15 项，新申请软件著作权≥10 项。

　　(三) 支持强度。

　　本专题拟支持1个项目，资助额度1000万元/项。

　　专题六：面向粤港澳历史文化保护传承的虚拟现实技术研究 与应用

　　(一) 研究内容。

　　面向粤港澳大湾区历史文化数字化采集、保护、活化、传播等应用需求，以融合粤港澳大湾区极富特色和历史底蕴的历史文化资源和建设粤港澳大湾区成为中国传统文化的输出窗口为目标，研究面向虚拟现实应用的历史文化资源高效建模技术，包括多视角跨尺度影像数据高效建模、多源异构的影像点云混合建模、基于超高清视频的动态建模、基于智能识别的结构化建模等关键技术;研究基于虚拟现实的历史文化资源活化技术，包括历史文化场景空间形态认知、基于深度学习的历史文化虚拟复原、历史文化场景创意设计虚实叠加等关键技术;研究历史文化虚拟现实数据资源传播技术，包括虚拟现实与流媒体技术集成与融合、基于场景实时感知的虚实配准、基于虚拟智能动态光源的色彩还原等关键技术;选取粤港澳大湾区历史文化中有代表性的遗产遗迹、古道、文物、历史人物事件，开展历史文化保护与活化应用示范。

　　(二) 考核指标。

　　项目完成时，须实现面向虚拟现实应用的历史文化高效建模 工具 1 套，支持地空影像的三维解算、多源异构的影像点云混合建模、非物质文化遗产的动态建模、智能化 BIM 建模，文化街区、 古村落等重建场景规模≥2000 ㎡，三维重建精度达到厘米级;研发 一个粤港澳历史文化创意设计辅助平台，支持多人(≥3 人)协同 交互，支持 GPU 并行虚拟复原，虚实场景叠加配准误差≤5 个像素;形成一个粤港澳历史文化遗产互动平台，支持多种虚拟现实交互 设备，平均色彩还原度≥80%，支持在线并发访问人数≥300 人，虚 拟场景切换延迟≤5 秒;构建一个粤港澳大湾区历史文化虚拟现实 资源库，支持历史文化时空数字资源的存储与管理，支持 PB 级的 数据资源存储与访问，完成历史文化虚拟现实数据资源建设≥2000 处;项目执行期内新申请发明专利≥15 项，新申请软件著作权≥8 项。

　　(三) 申报要求。

　　须企业牵头申报。

　　(四) 支持强度。

　　本专题拟支持1个项目，资助额度1000万元/项。

　　专题七：虚拟现实显示视觉健康关键技术及风险评价技术体系研究

　　(一) 研究内容。

　　面向虚拟现实视觉健康以及风险评价问题，研究视觉健康与虚拟现实呈现设备光电特性的关联性，研究基于多生理信号融合 的关联指标建模方法;通过脑电/视光等手段，研究用户在虚拟环境下的生理和心理变化，基于观察者主观感受和客观测试结果，建立虚拟现实生理和心理健康度评价理论模型;通过模拟人眼和视觉健康综合作用机理，建立生理信号分析、光电性能测试、时域特性分析、感知交互测试平台，形成面向体验、性能的测试评估标准体系，开发具有自主知识产权的测试设备，构建面向典型行业应用的验证与测试平台;通过对虚拟现实致害机理进行分析，形成涵盖触觉、听觉、视觉、舒适性等的多维度风险评估体系， 构建虚拟现实产品质量数据库。

　　(二) 考核指标。

　　项目完成时，须建立三维视觉健康度评价模型，理论分析各单目生理深度线索呈现度对视觉健康的影响因子，基于自主搭建的具有单目生理深度线索呈现能力的三维光学引擎，结合视角、分辨率等显示参数的健康反应，通过客观和主观测试反馈，完善 评价模型因子，完成的三维系统视觉健康度评价反馈≥10 项。搭建具备近眼显示、感知交互、舒适性测试验证能力的技术服务平台，形成的涵盖亮度均匀性、色度均匀性、视场角、色散、传递函数、 畸变等近眼显示测试用例≥5 项，使用的标准测试信号≥5 套，覆盖 典型测试场景≥5 种;开发具备时域特性的感知交互设备 1项;开 发基于生理信号的舒适度评价设备 1 项。形成虚拟现实产品质量 数据库 1 项，包括安全性、电磁兼容性、环境适应性、显示性能、跟踪性能、舒适度评级等质量数据。形成涵盖环境、触觉、听觉、 视觉、舒适性的多维度虚拟现实产品应用风险评估模型 1 项。项目执行期内新申请发明专利≥20 项，其中国际专利≥2 项。向国内 外标准化组织提交标准草案≥5 项(其中完成批准立项的≥1 项)。

　　(三) 支持强度。

　　本专题拟支持1个项目，资助额度1000万元/项。