6G沉浸式多媒体业务需求及关键技术研究报告

2024年12月3100:22:34发布者:信息化 74 views 举报
总字数:约40134字
第1页

第2页

第3页

第4页

第5页

第6页

第7页

第8页

第9页

第10页

6G沉浸式多媒体业务需求及关键技术研究报告

1

6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告

5G 沉浸式多媒体业务主要包含 VR/AR 及全息投影技术。 VR/AR 是借助近眼显示、

感知交互、渲染处理、网络传输和内容制作等实现的沉浸式视频业务。全息投影技术

属于 3D 技术的一种,原指利用干涉原理记录并再现物体真实的三维图像的技术。当

前全息投影技术的实现仍然需要介质来充当“投影幕布”,往往并非严格意义上的全

息投影,而是使用佩珀尔幻象、边缘消隐等方法实现 3D 效果的一种类全息投影技术。

5G 网络下, VR/AR 已经应用于行业应用( 2B )和大众应用( 2C )的许多领域,

VR/AR+ 工业制造、 VR/AR+ 影视 / 直播、 VR/AR+ 游戏 / 社交等等 [1] 。同时,全息通

信也有演示案例出现,如新华社 5G 全息异地同屏系列访谈等。可以看到 5G 沉浸式多

媒体业务已经可以满足很大一部分需求,相信基于未来 6G 网络的更高性能,这些沉

浸式多媒体业务将得到更好的发展,满足更加丰富的需求。

6G 沉浸式多媒体业务将会对应用侧超高并发流同步、新型编解码技术、全新媒体

类型以及全新渲染呈现技术等进行支持,同时也将满足网络侧亚毫秒级时延、 Tbps

带宽、超高可靠性等需求。

本文将从业务定义、场景及需求、发展现状、总体架构及潜在关键技术对 6G

浸式多媒体业务进行分析研究,同业内伙伴一起共同推进 6G 沉浸式多媒体业务的发

展。

第一章

沉浸式多媒体业务概述

1.1 业务定义

多媒体业务是指同步处理多种不同类型媒体的电信业务。多媒体业务可以涉及多

个参与方和多个连接,在单一通信会话中支持资源和用户的增删 [2]

沉浸式多媒体业务是指可以为用户提供高逼真度体验的多媒体业务。高逼真度体

验可基于多媒体技术的结合实现,如感知信息获取、媒体处理、媒体传输、媒体同步

和媒体呈现。

6G 沉浸式多媒体业务是指支持 Tbps 级超高带宽、亚毫秒级超低时延的高可靠沉

浸式多媒体业务。

1.2 业务场景及需求

1.2.1

沉浸式 XR

扩展现实( ExtendedReality XR )指的是所有由计算机技术和可穿戴设备 产生

真实与 虚拟 相结合的 环境 机互 括虚拟 现实( VirtualReality VR) 、增

现实 (AugmentedReality AR) 合现实 (MixedReality MR) 代表 性的 式和 它们之

插值区 域,是实现 虚拟化 交互和 远程 呈现的关键技术 一。

XR 是一个结合 VR AR MR 的技术 概念集 合,沉浸式 XR XR 深入 发展

式, 被称 为是未来交互的 终极形态 对视 听觉 触觉 嗅觉 等感 信息

模拟 和实时交互,实现用户体验扩展与 机互 用户 身临其境 、感同

的逼真体验。 6G 沉浸式 XR 业务相 于现有 5G 网络下的 AR/VR 业务而 ,需要提

供更高的业务 性以满足用户体验,这些业务 性包 超高分 辨率 、高 帧率 、宽 域、

位深 动态范围 、宽 域、宽视场 、编码 压缩 技术、传输方式等,以及更 然的交

互方式。 因此 6G 沉浸式 XR 业务对 平台 、网络和 终端都 提出 新的 挑战

2

1.2.1.1

业务场景

1-1 举了 XR 技术在不同领域、不同行业的部分应用场景。并从技术 成熟 度、

规模 、场景方 度、资源 依赖程 度等维度进行 分析。

1-1 XR 应用场景分类

序号

分类

技术 成熟

规模

场景方

资源 依赖

1

生产 和工作

★★

★★★

ToB

★★★★

2

理分析

★★

★★

ToB/ToBToC

★★★

★★★★

3

家庭

★★★

★★★

ToBToC/ToC

★★

★★★

4

交通

★★★★

★★★

ToBToC/ToC

★★★

★★★★

5

教育

★★★

★★★★

ToBToC/ToC

★★

★★★★

6

医疗

★★★★

★★★

ToB/ToBToC

★★

★★★★★

7

政治

★★★

★★

ToB

★★★

★★★

8

军事

★★

★★★

ToB

★★★

9

术与文

★★★

★★★

ToBToC/ToC

★★

★★★★

10

★★★★

★★★★

ToBToC/ToC

★★

★★★★★

11

社交

★★★★★

★★★★★

ToC

★★

★★

12

运动 健康

★★★★

★★★★

ToBToC/ToC

★★

★★

13

游戏

★★★★

★★★★★

ToBToC/ToC

★★★

14

建筑 设计

★★★

★★★

ToB/ToBToC

★★★

★★★

15

★★★

★★★★

ToBToC/ToC

★★★

★★★★

16

电影与电视

★★

★★★

ToC

★★★

★★★★

17

广告

★★

★★★★

ToBToC/ToC

★★

★★

18

★★★

★★

ToBToC/ToC

★★

XR 作为下一 沉浸式个 人智 能计算 终端 ,将 - - 的连接关系,

造新的 生态入口 对消 级用户, XR 覆盖办公 、出行、 娱乐 教育 家庭

线 线 下社交等 日常 使用场景, 型的 C 用户场景在 1-2 说明

1-2 XR 应用场景

场景

XR 应用

办公 场景

屏幕

发设计

家庭 场景

游戏

教育

健身

3

6G沉浸式多媒体业务需求及关键技术研究报告

家居

出行场景

导航

POI

障辅

社交场景

人称

XR

识别

1.2.1.2

业务需求

平台 需对沉浸式 XR 业务提供渲染、同步、编码、分发、 存储 理等 能,并

支持全景视频 数据 FOV 视频 数据 的传输。视频内容的渲染可以在计算处理能 力强

云端 进行,也可以在靠近用户侧的边缘网络进行处理,并 ,同一用户侧的视频流

频流需要同步,以 保证 百还 原呈现在对 的用户侧。 此外 ,业务 平台 应支

中部 和分布式部 署两 种方式。

基于 3GPPR17XR 项目 的研究, XR 业务的 数据率 为下行 30/45Mbps ,上行

10Mbps(AR 场景 ) ,未来 随着 视频分 辨率 以视频 帧率 等要求的提 ,对 数据率 也提出

更高的要求。 另外 XR 业务的 空口 时延要求为 10 毫秒,视频 的包 成功率

99% 除此之外 XR 业务 还具 有可 包大 、非 整数周期 抖动 、多流的业务 性。以

5GNR 网络对 XR 业务的 好支持提出 很高的要求。

1-1XR 业务特征

由于沉浸式 XR 涉及到 为丰富的业务体验,需要 6G 提供更高的 数据 传输 度、更

低时延、更高可靠的网络性能。以 16K 辨率 为例,沉浸式 XR 网络传输 速率 需求

0.98Gbit/s 。同时,如果 想让人们 在使用 XR 时不 产生眩晕 感,沉浸式 XR 时延

必须 低于 MTP MotionToPhotons )要求, 即小 20ms[3]

沉浸式 XR 业务的 终端 VR 一体机和 AR 代表 ,主要实现 制信 令采集

运动姿态捕捉 、视频解码、 光学 处理、内容呈现、网络接 、提供用户 界面 负责 用户

4

鉴权 能。 随着 XR 硬件 性能 迭代速 度加 朝着轻薄化 、超 清化 趋势迅速 发展,

开启 XR 业增 空间 XR 设备的显示分 辨率 帧率 由度、延时、交互性、 追踪

和感知、佩戴 舒适 性、 眩晕 感等性能指 逐渐 满足大众用户的体验需求。 XR

终端 交互以 6 由度为主流方式, 清晰 度在 30PPD 辨率 )以上,满

足大众消 费市 场的 门槛 。同时, XR 终端 结合 6G 用使能业务, XR+6G+AI 者融 合,

力终端轻 移动化 低对 XR 终端 侧的要求。通 图像渲染上 、内容制作上

,结合边缘计算和 AI 技术的应用,解 XR 终端产品 图像渲染能 不足、 移动

体验不 问题 ,大 幅降 了终端 的电 池续航 、体 存储 的要求, 终端

本和对 硬件 依赖 性,推 动终端轻 移动化

1.2.2

全息通信

全息技术可以 现包 括人 体、设备、 建筑 然景 等在内的 意物体。全

息通信基于 借助 HMD ,将 被摄 对象的全息信息流通 网络传输 指定地

再利用全息投影 或成 像技术 被摄 对象,并实现和 被摄 对象 的通话、 操控

实时交互性 作,使 人们 空间 制, 虚拟 场景与真实场景的 界限

使用户 享受身临其境般 极致 沉浸感体验 [3]

从理 ,全息显示技术不 可以实现 360 度三维投影展示, 能实现投影内

容与用户 之间 的互 。然而,当前全息显示技术 多体现在图像呈现 环节 光学 处理

上, 法实现 数据 交互处理。并 ,当前全息显示技术的实现仍然需要介质来充当

影幕布 眼全息 还存 在相当的 差距

6G ,将会实现全息三维显示, 无须 佩戴 任何 备, 可以 360

度全视 看到 3D 呈现效果,并 从不同 会展示出不同的信息,带 用户

身临其境 的视 体验。 另外 ,全息实时交互能实现用户与全息 3D 对象 之间 的互

在用户 看全息呈现内容的同时,用户的行为 作和指 可以实时影 呈现的对

象,从而真 实现 机互

1.2.2.1

业务场景

 远程手

6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告 6G沉浸式多媒体业务需求及关键技术研究报告

基于超低延 和高可靠性连接, 远程手 术是 远程医疗 的关键应用 一。如图 1-2

所示,图中包含 远程 A 助设 ,以及本地 B 医生 的全息图像。

a. 远程 A

b. 本地 B

1-2 手术

 全息通话 / 全息通信业务 变了 的通话 参与 的呈现 式。参

的全息图

全连接的网络传 指定地 ,以全 体的 式展现并和指定地 参与

体图像进行 和文本交互。

1-3 全息通 / 会议

1.2.2.2

业务需求

全息图相对于传 频和视频,是一种新的媒体格式。对全息类业务, 平台除了

支持传 频和视频编码传输, 需要支持对全息图 数据 的编码和传输。 每路 全息通

6G 网络 应支持大 1000 个并发流。 除了 的信 流、 频流、视频流,这些

并发流可能 括触觉 嗅觉 等媒体流。为 了保证 百还 原呈现 被采集 的对

15

1 6

象,这些并发流 之间 需要 持严格的同步。 此外 6G 网络应 有感知业务状 终端

移动 QoS 和网络 行状 的能 ,并能 据平台 下发的 策略 QoS 进行

全息技术的发展对网络提出 更高的要求。以传 素尺寸 1920×1080×50

3D 目 标 数 据 为 例 , RGB 数 据 24bit 新 频 60fps 压 缩 速 率

149.3Gbps

按照 压缩比 100 计算, 压缩 速率 1.5Gbps 。对于一个 的全息图像,通

需要 1Tbps 以上的传输 速率 。为 保证 全息交互的实时性,全息通信的 时延为

ms ms ,并 这些并发流 之间 将以有 的到 间差保 持严格的同步。由

于全息通信将 采集 对象在对 1:1 进行全息 原呈现,例如 、指

性信息在传输的 过程 中需要网络提供 高的 保障 此外 ,全息图像的编

码和渲染 需要网络提供 大的算 支持 [4]

对于全息通信应用于 远程操控 远程手 术等 场景,由于信息的 丢失

可靠性的 低, 为满足时延要求,传输的 数据 不可以 选择 传,所以要求

传输 有实时性和超高 全性与可靠性。在全息 远程操控 场景下,传输 速率

Gbps 级,时延为 ms ms 级,可靠性要求为 10-6

全息 采集端 设备通 度相机、高 清摄 外摄 录机等。例如,由多 台深

相机 按照 一定的 度和 的相机 矩阵 ,可以从 度对 捕捉 对象的

度信息进行 采集 。全息呈现 设备有投影 和高 清头 戴显示设备( HMDs )等。由

采集 内容的分 辨率 要高于实 呈现内容的分 辨率 因此 ,全息 终端 设备需要支持

不低于全息类业务提供的分 辨率 帧率 色深 等指 ,并 支持 MPEG-

1 H.264 H.265 等主流视频编码 协议 终端 设备需要 下发的 策略调 相关参

保证 QoE 此外 ,全息 采集端 设备和 原再现 设备应 备一定的边缘计算能

1.2.3

多维感知

多维感知是以 触觉 嗅觉 听觉 和视 多个维度的感知,现 阶段 触觉 研究

多。视 听觉 一直是传 信息的 种基本方式,然而 类用来接 信息的感 官除了

听觉 触觉 嗅觉 也在 日常生 中发 着重 要作用。 随着

技术等的进步, 体感 采集 为可能, 6G 网络将会支 将多种感

(如 嗅觉 触觉 感等) 交互通信的 能,多维感知 之间 作参与通

信将会 要的发展 趋势 。多维感知可应用于包 括健康医疗 、技能 娱乐生

道路 交通、 办公生 交和 感交互等领域。

1.2.3.1

业务场景

在真实场景中,包含 触觉 反馈 远距离控 制技术可以实现工业 远程 精细

制、高 远程医疗手 术、 远程教育 、电 务等 务应用 [5] 触觉 应用在

现实场景及 虚拟 场景的应用 1-3

1-3 触觉 应用

场景

应用

现实场景

工业

网络

远程教育

虚拟 场景

网络游戏

虚拟 现实增

元宇宙

1.2.3.2

业务需求

的实现,需要 保证触觉 听觉 、视 等不同感 信息传

输的一 性与 协调 [6] 。感 官数 化表 种感 觉都具 描述

度和 描述 方式, 因此 触觉 嗅觉 等需要新的编码方式,并

合的编码方式,以支持 在通信网络中的传输。多种感 官数据还 需要进行

同步和 合,以 保证 用户体验。

全方 ,由于感 是多种感 相互合作的通信 式,为 用户的

,通信的 全性 必须 得到更有 保障 ,以 防止侵 权事件 的发 。传

全机制在更高的 协议层 上实现,将会 导致明 显的时延。为 低的

时延提供 全的 数据 传输, 必须 在物理传输中 入针 听者 攻击 的通信

全机制, 选择 当的编码技术以 有合法的接 能接 有效信息。

面积 、信 号采集 度,实时的 触觉 传输 速率

20kbit/s 10Mbit/s 体对 触觉 感知的 灵敏 度为 1ms 以内, 高于 频和视

频信 且触觉 带的多维信息要求传输 同一 性。 因此 ,通信时

延需要 持在 1ms 以内, 能使网络传输 触觉 时,大 不会 产生 时延感。同时,

多维信息 同传输时, 数据 将会 随着 传输的感 信息 的增加而增加,所

以通信网络的 吞吐量 需要 地提 ,并 速率 更高的要求。高 发、

主从交互的 触觉 在传输 过程 中会对网络提出超低延 和超高可靠性的要

求, 要求延 10ms ,而可靠性高于 99.99999%[7] 不超

0.001%

此外 触觉 发性和不可 预测 性, 使接 到时 错乱 触觉

因此 终端 需要支持相关技术来实现 触觉 恢复 保障终端 用户的 触觉 感知质

[8]

第二章

沉浸式多媒体业务发展现状

2.1 市场分析

沉浸式多媒体业务中, XR (扩展现实,包 VR/AR/MR 产品 要的 机接

入口 。以 XR 技术为 “Metaverse 元宇宙 概念 度高 ,全 XR 业进

Facebook 微软 英伟 、高通、 腾讯 、华为等

XR 业, ,通 投资、 发等方式,已

基本 建立了 硬件 、内容、应用和 务的全 生态 。全 XR

场将 IDC 预测 2025 VR 显设备出 货量 将增加 5.6 ,超

2800 AR 显设备的出 货量 将从 2020 30 增加到 2025 2100

随着 应用场景的增加, AR/VR 用及消 费市 场不 发展, AR/VR 业应用场

景从 培训 扩展到 同工作和会 领域。 IDC 计, AR 显将由 业领域推

VR 显增 将由消 领域 中在消 领域, 2021 VR 游戏支出将 7.4

亿美元 ,同 46% ,全 体游戏 场支出 185 亿美元 VR 渗透 有很

大的提 升空间

总体来 XR 行业已经进 入了 全新的高 发展 。相 2016 的资本 作,

当前行业内从 硬件 设备设备,技术 ,内容 生态 环境 上来 五年

改善 生态 更加 健康 业基 更为 牢固

全息技术起步于 1947 随着 、算法及设备的不支持,研究进 入了 谷底 21

世纪 随着 计算机技术的发展,全息技术的研究 步上 前,在 务与

、游戏、影 、新 舞美 教育 驾驶 、文 和体 等领域有 成熟 的应用 ,

Google Apple IBM 阿里 腾讯 、华为等 已经进 全息 业。 我国

全息投影领域的 十几 发展到 千余 场容 已上 升至百 亿

技的进步和 技术 瓶颈 突破 ,全息将 来新一 的发展, 产生 大的经

社会效 ,对 类文 历史 产生 性的影

触觉 通信技术仍 处于研究 前并未有 广 的实 应用,更多的是在实验

验机, 场也仍未 建立 起来, 是业 基本上 触觉 通信在未来通信领域

广 应用 有足 的信

19

2.2 产业链及研究现

2.2.1

XR 产业链现状

XR 总体上可分为上、中、下游三个部分,上游为 XR 硬件 ,中游为 XR

平台 ,下游为 XR 内容和应用分发 务。

XR 硬件 完整 度上 分,主要包 XR 机, XR ,关键 元器 三个部分。对

应的 从上到下包 XR 终端 XR 组厂 元器 XR 机指 完整终

端产品 ,包 一体式和分体式等 终端产品 ,出 B C 端市 场。 XR 成终

端产品 的关键 ,可以作为中 间件产品 立开 生产 ,提供 XR 终端 ,包

SLAM 、近眼显示 ( 手环 ) 等。 XR 关键 元器 处理 器芯

、内 、通信 芯片 、传感 (IMU ) 光学 、显示设备、 、电

声器 等,供应 XR 组厂 XR 终端

前, XR 元器 供应 除了光学 和显示 件外 ,基本上可以直接 元器

供应 ,如处理 器芯片 使用 机处理 平台 随手 业发展。对于 XR 用的

一些 元器 ,相对发展 缓慢 ,供应 入趋 谨慎 将更多的资源投 到关键的

光学 和显示设备上,如 折叠 光学 衍射 反射 MicroLED LBS 等。 XR

对投 研发资源 创终端 商或 试水阶段 终端 ,提供

定制 化模 ,使这些 终端 可以 快速 地推出 产品 减少 。主流的 XR 终端

大多通 过硬件自 研、 购或 投资关键 元器 进行 完整 ,以 到技术

XR 件平台 可分为系 平台 平台两 类。系 平台 主要指 作系

OperatingSysterm,OS )以及对应的用户 界面 Userinterface UI ), XR

作系 的主要 微软 谷歌 Facebook MagicLeap 平台 主要包 3D

建模平台 、内容 引擎 ARSDK 等。

XR 内容和应用将 XR 业的发 力点 ,主要包 行业内容应用( ToB )和个

费市 场应用( ToC )。 XR 在行业应用领域方 面较广 ,包 培训 安装检修

物流 产品 营销 自动 驾驶 探索 业应用、工业应用等方 XR 在个

费市 场上主要 显在 营销 教育 、游戏和社交方

前, XR 环节 发展仍不 成熟 亟待 技术 一和 生态 合。

XR 业的总体 来看, 和应用 硬件 ToB 硬件 ToC 硬件 果、

谷歌 微软 Facebook 等行业 已经在 XR 强势 ,三 、华为、

20

2 1

HTC 索尼 尔、高通等 XR 领域的投 也是未来主 行业发展 度的主

此外 团队 和高 实验 等在 XR 研发上的能 也不容 XR

是研发主 谁掌握核 底层 技术及 谁就 的主

2.2.2

全息产业链现状

全息行业 总体上可分为上、中、下游三个部分,上游为基 础层 ,中游为

,下游为应用 [9]

上游基 础层 主要以 体、 材料 业为主,为中下游 业提供

算、 硬件 设备、 芯片 、电 路元器 光学 、有机 材料 、信 处理

设备以及 仪器 等基 硬件 务。 业中的算 支持由 计算、

硬件 设备提供,包 图像的 采集 、处理、传输编码等 ;芯片 集成 是所有设

备的 处理与 逻辑 元; 路元器 光学 完成 全息业务的支 撑;

理设备用于 接不同部分,在 业务 逻辑 中的 环节之间 进行信 递; 全息图像的

采集清晰 度和呈现效果由 仪器 定,例如 镜头 、投影 幕、 材料 等。

上游 的源 前在基 础材料 技术上已经可以提供 要的

戴式显示领域,已经 度的传感 和连接 芯片 ,能 实现信

采集 、输 和处理。 3D 像领域,由于对显示的 3D 效果要求 于严

格, 前在 材料 和技术上仍有许多 困难 需要所有 业共同 克服

中游 主要以 产品商 集成 和内容设计 为主,在上游技术与

的支持下,提供 产品 销售 、全 链路服 务和全息 产品 内容设计、 建模 与呈现等多种类

型的 务。在 产品 领域主要提供全息投影 产品 、全息显示 产品 、全息 AR 产品

全息 光产品 等设备的 销售 和维 护服 集成 务领域主要提供全息解 方案, 覆盖

休闲 娱乐 物体验、视频通话等众多场景,从全息应用的需求 挖掘 、场景研究到全息

产品 的部 与维 集成 务领域的 全息应用的 链路 面向 业、

等多方用户 体提供 完整 的全息体验 在全息内容设计领域主要提供大众

的全息内容,主要涉及全息 广告 、全息 场、全息 婚礼 、全息游戏和全息 像等

内容。中游 业在 产品 务提供上已经 比较完整 ,结合上下游 业,使得

个全息 结构更加丰富。 是由于全息并未真 大众 因此 在内容设计和

体验等方 面还 有所 欠缺 ,这也是全息在未来发展 过程 需要 重点 挖掘 的方

下游应用 呈现方式可以分为 像、 体屏显和 体眼 三类。

总页数:46
提示:下载前请核对题目。客服微信:homework51
标题含“答案”文字,下载的文档就有答案
特别声明:以上内容(如有图片或文件亦包括在内)为“电大之家”用户上传并发布,仅代表该用户观点,本平台仅提供信息发布。