浏览次数:347 发布时间:2023-09-15 10:03:13
附件1
元宇宙揭榜挂帅任务榜单
一、核心基础
(一)基于Linux内核的XR操作系统
揭榜任务:开展面向空间计算的轻量化Linux内核XR系统技术研究,突破基于动态时间帧补偿的低延时全链路渲染、针对光学畸变及色散的预校正渲染、基于注视点的动态渲染、三维化显示等关键技术,设计通用一体化的空间感知和智能人机交互接口,提升使用者的沉浸感、交互的自然度。兼容适配不同主芯片平台;支持主流三维引擎工具和标准。
预期目标:到2025年,完成基于Linux内核的XR操作系统开发工作,系统延迟时间等核心指标达到行业领先;兼容多种硬件主芯片平台;支持多种三维引擎工具;支持OpenXR、GSXR、WebXR等XR标准;适配超过100款主流应用的三维显示。
(二)实时三维引擎
揭榜任务:研究多机集群渲染、动态全局光照、高性能图形图像处理等技术,研发具备跨平台能力的实时三维引擎,实现超大规模场景的高性能高质量实时渲染;研究基于机器学习与程序化的内容生成、多人协同交互等基于实时三维引擎的数字化内容创作技术,研发具备程序化内容生成能力的开放引擎创作交互开发工具及创作平台;基于实时三维引擎,在电视演播、教育、文博、工业等多个领域开发数字化示范应用。
预期目标:到2025年,研发实时三维引擎,支持在主流国内外操作系统上运行,支持单眼和双眼,最低支持8k分辨率、12bit 位宽的渲染输出,支持亿级三角形在8K 60FPS下的渲染。输入反馈延迟等性能指标达到国际先进水平。
(三)三维序列数据编码传输方案
揭榜任务:研究三维序列数据编解码及传输框架,结合三维序列数据特点,研究针对三维空间不规则动态网格、稠密点云序列和隐式表示三维模型等6自由度数据编码系统,实现三维序列数据的高效智能压缩。研究三维序列数据传输技术,围绕三维序列数据传输方式、传输协议开展关键核心能力和标准构建。在沉浸式通话、元宇宙会议、沉浸视频点播等场景实现大规模应用。
预期目标:到2025年,在保证高质量的视觉效果条件下,三维空间不规则动态网格、稠密点云序列和隐式表示三维模型等6自由度数据编码压缩率达到行业领先水平。实现点云序列传输方案设计,实现至少1种点云传输协议验证。
(四)面向元宇宙沉浸多感交互的5G-A网络
揭榜任务:研究元宇宙业务QoS、网络资源、计算资源等多要素联合受限下的5G-A网络容量理论模型,指导系统性能评估及容量优化。研究支持元宇宙终端计算任务卸载到边缘、云的5G-A网络端边云协同优化,有效降低终端的计算开销及功耗。研究基于网络状态、用户行为和媒体特征等多维感知信息的沉浸式媒体自适应传输,有效提升网络资源利用率及系统容量。研究基于视频、音频、动作及触觉等多模态数据的5G-A网络多模态协同传输,支持多模态多感官实时交互。
预期目标:到2025年,完成云VR、云AR、分离渲染等元宇宙典型应用场景的系统容量理论模型;支持5G-A网络下的终端计算任务卸载,实现终端计算开销及功耗的有效降低;支持沉浸式媒体自适应传输,实现网络资源利用率提升,相比现有5G网络,单小区系统容量(并发XR用户数)提升3倍以上;支持多模态协同传输,多模态交互场景下端到端时延不超过50毫秒。相关技术指标应通过实验室仿真验证或系统原型样机验证,达到行业领先水平。
(五)基于物体特征点的三维模型快速匹配系统
揭榜任务:针对基于图像的三维建模,开展三维模型特征点匹配和对比的研究。主要利用优化后的基于特征(形状)的技术方法进行粗配准,利用优化后的基于几何(icp)的技术方法进行精配准,通过降维以及限制自由度的方式实现快速、稳定的配准。突破对点云数据的无序性、非结构化、不均匀和噪声等干扰,有效地利用已有的信息实现精确、鲁棒的点云配准算法,实现在室内正常光照条件下,在市场主流移动设备上快速、精确地完成点云的配准。实现在工业设备维修维护等场景的应用,解决技术专家无法到场指导设备维修维护的问题。需要兼容不同的主芯片平台。
预期目标:到2025年,完成基于物体特征点的三维模型快速匹配算法;根据不同设备尺寸,建模阶段,采集不多于4000个特征点即满足物体的建模要求,配准阶段,不多于10秒完成配准,物体特征点的精确度偏差毫米级。实现在200-2000勒克斯光照强度范围内,即使建模和配准的环境光照不同,算法都能稳定、准确地配准。系统在重点领域实现规模化商用。
二、重点产品
(六)高逼真数字人快速构建与多模态交互系统
揭榜任务:研制高速4D面部采集技术,研究并实现批量化、自动化的产业级面部模型处理与制作流程。基于多模态信息进行多样化采集,建设人脸高精度4D模型数据库,实现高逼真数字人面部和身体的快速构建。搭建基于大模型的多模态数字人交互系统,实现视觉、听觉等多模态输入信息的统一表征,实现基于预训练模型的表情、动作推理。
预期目标:到2025年,数字人4D面部动态重建帧率≥30fps,绑定后生成表情误差小于5mm,数字人的自然度、真实度等主观体验评分达到行业领先水平。基于多模态交互输入结合大模型实现高准确度、低延迟的动作、表情、行为推理。
(七)虚拟空间创作平台
揭榜任务:研究基于元宇宙虚拟空间的构建系统,实现低代码快速构建虚拟空间。研究音视频互动平台,实现在元宇宙中进行语音、视频交流。研究多人协作系统,实现数字孪生模型的多人交互协作。研究共享桌面技术,实现多人共享演示内容。研究元宇宙空间与云渲染方式的融合,实现手机或PC访问元宇宙空间。研究人物换装、捏脸功能,实现在虚拟空间中打造个性化的数字人。集成智能助手,提供专属场景的业务问答与指令。
预期目标:到2025年,实现不少于5类场景的低代码快速构建,支持会议元宇宙、展览元宇宙、教育元宇宙、办公元宇宙、园区元宇宙等场景,场景运行流畅不卡顿。支持在线人数、模型加载效率、延迟时间等核心指标达到国际先进水平。
(八)3D沉浸式实时通信系统
揭榜任务:研究基于多模态、多视角的三维视觉技术,实现对人、物、场的动态三维数据采集、建模和显示。研制基于多传感器的三维数据捕捉设备和基于裸眼3D显示器的沉浸式实时通信系统,旨在提供身临其境的沉浸感体验,可应用于视频会议和远程协作,为远程教育和培训、远程手术和医学会诊、游戏和文旅等领域提供新的技术手段。
预期目标:到2025年,3D沉浸式实时通信系统从采集到呈现端到端时延小于400ms,帧率大于25,三维重建平均误差、结构相似性、感知损失指标达到行业领先水平。
(九)3D实景地图平台
揭榜任务:研究3D实景地图平台,突破3D实景地理实体在语义化、结构化等维度上的技术瓶颈。研究用时空数据编织与时空知识图谱技术实现对地理实体自身属性及实体间关系进行一致性描述,以实现地理实体的语义化,达到计算机可理解、可分析。研究用GeoAI方法识别分类技术,实现地理实体单体分割并获取其几何轮廓及组成结构。在城市规划、应急防灾、交通治理等场景下实现快速批量应用。
预期目标:到2025年,地理实体语义化覆盖率、结构化准确率等核心指标达到行业领先。
(十)基于文本描述的3D场景生成系统
揭榜任务:研究基于文本描述的3D场景生成系统,突破传统方法需要大量标记3D模型数据集的限制,解决当前基于文本描述的3D场景生成算法结果过饱和、过平滑、缺少细节等问题。研究多模态室内3D场景生成,实现高质量3D内容生成,包括复杂效果,基于文本生成多样性3D内容和360°场景等。研究基于分布式云渲染实现多模态实时3D场景生成系统,实现高带宽高质量内容实时传输,海量高质量3D内容实时云端生产、渲染、交互。
预期目标:到2025年,实现根据输入的文本信息,对于实例输入的文本生成特定实例图像。实现基于文本或文本+图像的室内3D场景的生成,生成场景的渲染视角图像与文本一致性指标CLIP score、渲染图像的感知指标Inception score等核心指标达到国际领先。
三、公共支撑
(十一)元宇宙数字身份标识技术解决方案
揭榜任务:研究元宇宙数字身份标识技术,构建跨平台、跨设备、跨系统的元宇宙中数字身份及作品标识体系。研究数字身份映射体系,将元宇宙中数字身份与现实中人员身份关联,确保元宇宙世界中数字身份活动的真实性。通过“嵌入式”标识服务,为每个数字身份及相关作品分配唯一数字标识,建立起可信赖、可查验、可追溯的数字身份及标识管理体系。
预期目标:到2025年,实现元宇宙数字身份标识技术解决方案在至少1