2019年度广东省重点领域研发计划“虚拟现实”重点专项申报指南.pdf

附件 2 2019 年度广东省重点领域研发计划 “虚拟现实”重点专项申报指南本专项以国家战略和广东产业发展需求为牵引，围绕虚拟现实产业发展亟待突破的关键领域和薄弱环节，集聚国内优势团队，组织优势力量集中开展技术攻关，力争取得一批标志性成果，推进我省虚拟现实技术及产业创新发展。 2019 年度指南共设置超大视场高清虚拟现实显示设备研发、大范围场景跟踪定位与自然人机交互关键技术和产品研发、虚拟现实核心引擎关键技术研发及应用等专题。项目实施周期一般为 3 年。专题一：超大视场高清虚拟现实显示设备研发（专题编号： 0146）（一）研究内容。研究用户的三维视觉感知机理以及基于用户感知评价的显示系统优化方法，提升头戴式显示系统的显示效果与舒适度；研制匹配用户瞳距、视度差异的沉浸式超大视场虚拟现实头戴式显示设备，研究多通道拼接式显示系统显示效果模拟仿真工具以及适用于超大视场高分辨率头戴显示拼接、融合、渲染和显示的呈现 - 25 - 工具；面向虚拟现实头戴式设备，研究融合低功耗处理技术、高清视频编解码技术、双屏显示技术、环绕音设计技术与专用光学模块设计技术（反畸变反色散）的专用高性能低功耗虚拟现实主控专用芯片。（二）考核指标。项目完成时，须研制基于国产芯片的超大视场高清晰度头戴式显示装置。显示器光学性能实现双目水平视场角≥150°，双目水平重叠视场角≥65°，出瞳距离≥13mm，出瞳直径≥10mm，显示畸变≤10%。显示器渲染性能实现显示延时≤25ms，高清视频解码 ≥8K/60FPS；实现双屏高清显示，单眼分辨率≥2.5K/90FPS；实现持续运行≥4h，实现反畸变、反色散及异步时移，实现虚拟现实设备关键模块动态电源管理，支持高性能 LPDDR4X 设计。构建基于光线追迹的超大视场头戴式显示系统显示效果模拟仿真软件，能够在设计阶段正确模拟多通道拼接头戴式显示设备。项目执行期内新申请发明专利≥20 项，相关产品或元件在虚拟现实行业获得应用，项目实施三年内相关产品与服务实现经济产值≥1 亿元。（三）申报要求。须企业牵头申报。（四）支持强度。本专题拟支持 1 个项目，资助额度 2000 万元/项。专题二：大范围场景跟踪定位与自然人机交互关键技术和产 - 26 - 品研发（专题编号：0147）（一）研究内容。面向虚拟现实中人与物的跟踪定位与交互问题，开展大范围场景跟踪定位与自然人机交互关键技术研究。研究融合图像特征、光学、惯性传感的高精度空间定位技术；研究跟踪定位优化算法；研制跟踪定位专用设备与装置；研究基于三维感知的自然人机交互技术，包括手势交互感知信息的推理和逻辑演化，以及基于惯性传感的动作捕捉和自然手势识别关键技术、交互体系与测评系统；研究手势识别基础模块及相应交互套件，研制具备人体姿态识别功能的穿戴式惯性全身动作捕捉套件通用产品。（二）考核指标。项目完成时，形成可穿戴式惯性传感自然手势交互产品以及具有空间追踪功能的通用模块，形成虚拟现实内容人工智能生成工具。须形成多模态交互感知数据自动配准模型、惯性传感的手势识别和人体姿态识别模型以及沉浸式三维听觉感知模型；支持视听觉、手势、体感、触觉、生理等多模态信息类型，多模态交互行为识别率≥90%，触力觉反馈平均单次时延≤10ms，三维听觉感知误差≤12 度；用户跟踪范围≥1000m2 ，用户姿态跟踪误差 ≤5mm，有效三维跟踪数据刷新帧率≥60fps，跟踪数据刷新延时 ≤15ms，手部关节点跟踪误差≤3mm；产品的惯性传感数据采集速率≥400FPS，无线通信刷新率≥120FPS，无线通信平均响应时延 ≤10ms；制定虚拟现实动作捕捉和手势识别行业及地方标准（广东） - 27 - 1 套，项目执行期内新申请发明专利≥15 项；相关产品与服务在虚拟现实行业获得不少于 5 个应用，用户量≥100 万人次，项目实施三年内相关产品与服务实现经济收入≥1 亿元。（三）申报要求须企业牵头申报。（四）支持强度本专题拟支持 1 个项目，资助额度 1000 万元/项。专题三：虚拟现实核心引擎关键技术平台的研发及应用（专题编号：0148）（一）研究内容。面向虚拟现实和行业仿真开发需求，以构建满足专业性、易用性和兼容性的工具引擎为目标，研发虚拟现实核心引擎关键技术和平台。研究支持多领域应用的虚拟现实核心引擎，引擎构架支持核心数据层和上层应用系统，兼容多种操作系统和适配虚拟现实外设。研究虚拟现实关键核心渲染技术，实现真实感实时场景渲染；研发智能化自适应场景编辑工具，支持触屏手势和语音交互等多用户多平台多终端在线协同交互式开发，相关产品在专业领域进行示范应用。（二）考核指标。项目完成时，须输出虚拟现实核心跨平台工具引擎，支持常用三维模型格式，包括点云数据文件、网格模型文件等；支持光 - 28 - 线追踪、动态实时阴影、HDR 技术、物理引擎以及脚本编辑。脚本编辑器具有自适应功能，可根据用户使用习惯简化操作，支持移动终端触摸屏交互和语音交互。提供支持并发≥100 的虚拟现实多人协作交互系统；支持增强现实三维对象识别种类≥1000，可进行无标签的增强现实三维物体对象识别及三维姿态分析；可实时传输音视频，支持 H.265 协议；支持手势识别、动捕设备、语音识别等接口；支持虚拟现实呈现系统的沉浸式体验，刷新率 ≥30FPS，动作捕捉精度达到亚毫米级。支持所见即所得的操作流程编辑；支持从云平台导入导出三维资源；支持内容数量≥10 万；支持用户数≥1000 万人次。项目执行期内新申请发明专利≥10 项，获得软件著作权≥10 项，实现相关产品与服务经济收入≥1 亿元。（三）申报要求。须企业牵头申报。（四）支持强度。本专题拟支持 1 个项目，资助额度 1000 万元/项。专题四：高真实感虚拟化身生成与智能感知技术与应用研究（专题编号：0149）（一）研究内容。面向虚拟环境中多用户同虚拟化身进行交互的需求，研究用户全身模型高真实感三维重建方法，实现高精度人脸材质、面部妆容、头部配饰和复杂表情的数字化；研究集成多种视觉感知传 - 29 - 感器、视觉成像器件、神经网络处理芯片等的虚拟现实感知计算平台；研究虚拟现实环境下用户眼动、面部表情、手势和肢体动作的实时在线智能感知与虚拟化身情感逼真再现方法，研究虚拟现实环境下用户-虚拟环境、用户-虚拟化身的三维空间交互技术及手-眼协同交互方法；开展技术应用验证，提升多用户在虚拟环境中交互的效率以及体验，并最终在网络社交、老龄陪伴、影视制作等领域进行应用示范。（二）考核指标。项目完成时，须完成高精度人脸面部表情及皮肤物理特性动态采集系统，可获得人脸表面的漫反射贴图、高光反射贴图和光度法线贴图，贴图分辨率≥4K；高精度模型网格数≥500 万面，应用模型网格数≤100 万面，支持两性 20 种以上妆容，支持常见头部配饰及用户上传自定义配饰；交互过程中系统可捕获的人脸表情 ≥72 种，表情捕捉帧率≥30FPS，表情变化时延≤50ms。新一代虚拟现实感知计算平台，视觉感知计算平均单次时延≤10ms；三维头部姿态平均误差≤5°，三维视线角度平均误差≤10°，人脸表情重建平均误差达到毫米级，手势和姿态重建平均误差达到厘米级；整体重建帧率≥30FPS。三维空间交互行为识别准确率≥90%；喜怒哀乐等基本情绪感知准确率≥90%。形成虚拟现实智能感知交互行业/ 地方/团体标准≥2 套，项目执行期内新申请发明专利≥20 项。相关产品与服务在虚拟现实行业获得不少于 5 个应用，用户量≥100 万人次。 - 30 - （三）支持强度。本专题拟支持 1 个项目，资助额度 1000 万元/项。专题五：面向智能制造关键过程的虚实融合技术研究与应用（专题编号：0150）（一）研究内容。面向智能制造中产品设计、装配、培训等关键过程，以优化品质、提升效率、降低成本为目标。研究与虚拟现实和增强现实相关的关键技术和应用平台。研究虚拟设备和工艺过程的建模与仿真，包括虚拟设备和实际设备动作时序、单步运行和联动运行时间；研究与实际生产线一致的虚拟生产线培训平台，包括与实际生产线相同的 PLC 控制器及控制程序、高质量及功能完整的机器人 OLP 程序、与实际生产线运行高度一致的节拍、丰富的故障测试与解决演示功能。研究基于虚实融合技术的产品敏捷迭代设计方法，包括人与物高精度动态定位、虚实部分外观一致性融合、产品半实物部分最优设计制造、产品虚拟部分叠加验证与快速设计迭代等；研究基于视觉计算与呈现的辅助装配技术，包括关键部件智能检测与识别、部件参数与装配信息自动检索、装配过程中视觉场实时感知、视觉场优化的装配辅助信息智能呈现；研究支持多人协同的制造业虚拟培训技术，包括多人三维空间联合定位、培训内容跨用户视图一致注册、支持互动式培训的多通道人机交互、培训内容绘制和交互的便携式平台；选取智能制造中的 - 31 - 代表性行业，面向设计、装配、培训等关键过程，开展技术集成与应用示范研究。（二）考核指标。项目完成时，须完成基于虚拟现实的智能制造自动生产线/工厂设计并实际应用。基于虚拟现实的智能制造设备设计信号完整度 95%，动作一致性 95%，时间准确性≥90%；虚拟生产线具有高度一致性，包括控制程序的准确度≥95%，运行节拍准确度 95%以上，以及故障测试功能完整度 98%。形成面向智能制造行业的虚实叠加敏捷设计平台，虚实对象外观光度属性一致性≥80%；形成智能装配辅助系统，关键部件自动识别正确率≥80%，视觉场引导准确率达到厘米级，对指导信息呈现的牵引正确率达到 80%；形成支持不少于 3 人协同交互的虚拟培训系统，多用户视图间配准误差达到厘米级，同步误差≤500ms，支持多个（≥2 个）主动交互通道，且多通道联合交互的识别正确率比单通道显著提高。项目执行期内新申请发明专利≥15 项，获得申请软件著作权≥10 项。相关产品与服务在行业应用不少于 5 个，项目实施三年内相关产品与服务实现经济收入≥1 亿元。（三）申报要求。须企业牵头申报。（四）支持强度。本专题拟支持 1 个项目，资助额度 1000 万元/项。 - 32 - 专题六：面向粤港澳历史文化保护传承的虚拟现实技术研究与应用（专题编号：0151）（一）研究内容。面向粤港澳大湾区历史文化数字化采集、保护、活化、传播等应用需求，以融合粤港澳大湾区极富特色和历史底蕴的历史文化资源和建设粤港澳大湾区成为中国传统文化的输出窗口为目标，研究面向虚拟现实应用的历史文化资源高效建模技术，包括多视角跨尺度影像数据高效建模、多源异构的影像点云混合建模、基于超高清视频的动态建模、基于智能识别的结构化建模等关键技术;研究基于虚拟现实的历史文化资源活化技术，包括历史文化场景空间形态认知、基于深度学习的历史文化虚拟复原、历史文化场景创意设计虚实叠加等关键技术;研究历史文化虚拟现实数据资源传播技术，包括虚拟现实与流媒体技术集成与融合、基于场景实时感知的虚实配准、基于虚拟智能动态光源的色彩还原等关键技术；形成众包式虚拟现实三维实景平台，实现基于移动平台的实时三维场景的采集和浏览；选取粤港澳大湾区历史文化中有代表性的遗产遗迹、古道、文物、历史人物事件，开展历史文化保护与活化应用示范。（二）考核指标。项目完成时，须开发面向粤港澳大湾区历史文化保护传承的虚拟现实建模工具、创意设计辅助平台、历史文化遗产互动平台、资源库。虚拟现实建模工具 1 套，支持地空影像的三维解算、多 - 33 - 源异构的影像点云混合建模、非物质文化遗产的动态建模、智能化 BIM 建模，文化街区、古村落等重建场景规模≥2000m2，三维重建精度达到厘米级，选取粤港澳大湾区中至少三个城市中心区进行大范围场景重建；创意设计辅助平台支持不少于 10 人协同交互，支持 GPU 并行虚拟复原，虚实场景叠加配准误差≤5 个像素；历史文化遗产互动平台支持多种虚拟现实交互设备，平均色彩还原度≥80%，支持在线并发访问人数≥300 人，虚拟场景切换延迟≤5 秒；资源库支持历史文化时空数字资源的存储和管理，支持 PB 级的数据资源存储与访问，完成历史文化虚拟现实数据资源建设 ≥2000 处；项目执行期内新申请发明专利≥15 项，获得申请软件著作权≥8 项。（三）申报要求。须企业牵头申报。（四）支持强度。本专题拟支持 1 个项目，资助额度 1000 万元/项。专题七：虚拟现实显示视觉健康关键技术及风险评价技术体系研究（专题编号：0152）（一）研究内容。面向虚拟现实视觉健康以及风险评价问题，研究视觉健康与虚拟现实呈现设备光电特性的关联性，研究基于多生理信号融合的关联指标建模方法；通过脑电/视光等手段，研究用户在虚拟环 - 34 - 境下的生理和心理变化，基于观察者主观感受和客观测试结果，建立虚拟现实生理和心理健康度评价理论模型；通过模拟人眼和视觉健康综合作用机理，建立生理信号分析、光电性能测试、时域特性分析、感知交互测试平台，形成面向体验、性能的测试评估标准体系，开发具有自主知识产权的测试设备，构建面向典型行业应用的验证与测试平台；通过对虚拟现实致害机理进行分析，形成涵盖触觉、听觉、视觉、舒适性等的多维度风险评估体系，构建虚拟现实产品质量数据库。（二）考核指标。项目完成时，须建立三维视觉健康度评价模型，搭建具备近眼显示、感知交互、舒适性测试验证能力的技术服务平台。评价模型须理论分析各单目生理深度线索呈现度对视觉健康的影响因子，基于自主搭建的具有单目生理深度线索呈现能力的三维光学引擎，保持分辨率同时实现可聚焦深度面数量≥10。结合视角、分辨率等显示参数的健康反应，通过客观和主观测试反馈，完善评价模型因子，完成的三维系统视觉健康度评价反馈≥10 项。近眼显示测试用例≥10 项，涵盖分辨率、响应时间、刷新率、色域覆盖率、亮度均匀性、色度均匀性、视场角、色散、传递函数、畸变等，使用的标准测试信号≥5 套，覆盖典型测试场景≥5 种；搭建基于 miniled 大屏显示的裸眼 VR 体验实验室。开展 2 种虚拟现实技术路线沉浸感和视觉健康风险对比研究。形成虚拟现实产品质量数据库 3 项，包括安全性、电磁兼容性、环境适应性、显示性能、 - 35 - 跟踪性能、舒适度评级等质量数据。形成涵盖环境、触觉、听觉、视觉、舒适性的多维度虚拟现实产品应用风险评估模型 3 项。项目执行期内新申请发明专利≥20 项，其中国际专利≥2 项。向国内外标准化组织提交标准草案≥5 项（其中完成批准立项的≥1 项）。（三）支持强度。本专题拟支持 1 个项目，资助额度 1000 万元/项。 - 36 -