英特尔助力中国电信创新 5G 边缘应用,引领 VR 产业发展

基于中国电信天翼云与 MEC 平台的 8K+VR 直播解决方案具备如下优势:

  • 使用超分辨率算法对解码后的视频图进行增强渲染,使用户的视觉·体验更为平滑自然,避免了 “头晕目眩” 问题;

  • 该方案基于英特尔 OVC WebRTC 360 Video Sample 和 SVT 开源架构,并引入第二代英特尔® 至强® 可扩展处理器,有效提供 8K HEVC 的实时转码能力,使端到端时延大幅缩短,转头延迟相比开源方案显著降低;

  • 基于稳定的图形架构,实现了将开源的 VR 播放器移植到手机移动端和 VR 一体机,大幅提升 5G 技术对播放设备的兼容性。

author-image

作者

概述

为应对疫情影响带来的游客人数大幅下降问题,各个旅游景区都在探索新的 “旅游” 方式,希望藉由新技术,让人们可以在线游览,足不出户就能尽赏祖国大江南北的精彩人文资源和美景!这一探索不仅顺应了人们的美好向往,在全民战疫大背景下,也成为丰富休闲娱乐生活的重要途径。

应人们之所想,解景区之所急,中国电信基于天翼云与 MEC(Mobile Edge Computing)平台,释放第二代英特尔® 至强® 可扩展平台强大算力,采用英特尔 OVC(Open Visual Cloud,开放视觉云)WebRTC 360 Video Sample 和英特尔的 SVT(Scalable Video Technology,可扩展视频技术)开源架构,推出 8K+VR 直播解决方案。

得益于方案多项优势和强劲性能,中国电信陆续在全国各省天翼高清平台上线 “VR全景专区”,推出 8K+ 沉浸式低延迟 VR 直播服务,360 度无死角呈现了旅游景区风貌,让宅家看世界成为现实,让人们可以轻松 “躺赢” 远方,云游美景。


8K+VR 成为线上游景区的现实需求

伴随着 5G 的规模商用,5G 三千兆(千兆 5G+千兆宽带+千兆 WiFi 的服务总称)能给我们带来什么,是包括运营商在内的所有产业链企业共同探讨的话题。面对这一全场景立体化高速率的网络环境,8K、VR 可以成为 5G 大带宽场景下的 “杀手级” 应用,备受关注。

对于中国电信而言,正在全力推进 5G、千兆光宽网络的建设,充分释放 5G 云网价值,为用户带来更好的体验,也成为赢得激烈市场竞争的关键抓手,通过 8K+VR 直播满足人们线上游景区的需求成为创新应用的新突破。

对于用户而言,体验是没有止境的。通过 8K+VR 直播 应对疫情等带来的外出不便的需求与日俱增,比如在家远距离获得在景区游览时乾坤大挪移式的新视角,足不出户在家中即可身临其境体验名川大山。通过中国电信的新方案,只需要接入宽带或 5G 网络,便可人在家中座,沉浸式体验景区实况,尽享全新的感官体验。而这也激励着运营商积极探索 5G 三千兆商业模式和打造应用创新。但创新,注定是条艰难的旅程,需要解决系列技术问题。
 

8K+VR 应用需应对多个挑战

与传统视频应用相比,VR 的最大特点即沉浸式体验,其解决方案需要融合应用 360 度全景、8K 超高清、3D、强交互等技术,对网络能力、计算能力提出了更高的要求。

以 8K 超高清为例,8K HEVC 30FPS 视频流码率达到 100Mbps。如此高的网络传输带宽即使对于 5G 网络,也是不小的压力。如果考虑到帧率进一步的提高,达到 8K 60FPS 或者 8K Stereo 360 全景视频的水准,对于网络带宽的需求还会成倍地增长。

除了传输带宽需求之外,如何对动辄上百兆的视频流码进行视频编解码,也是个巨大的挑战。根据 360 全景视频特点,特定时刻的用户视角通常只占据全部图像中一小部分区域,如果对全景图像进行 8K 的传输和解码,会造成了极大的网络和计算资源的浪费;同时,还要求平台具备强大算力和可扩展性,能够支撑实时转码需求,以最大程度降低端到端时延。

从用户层面来看,目前主流的 VR 设备还不具备 8K 视频解码能力,开源的 FOV 渲染 VR 播放器也不具备终端的通用使用能力。如何让 “旧时王谢堂前燕,飞入寻常百姓家”,也是中国电信天翼云研发团队必须要面对和解决的问题。
 

8K+VR 依托英特尔产品和技术实现创新应用

为应对挑战,中国电信联合英特尔,基于天翼云与 MEC 平台,充分利用网络带宽,构建 VR 视频直播解决方案。该方案只需在景区架设两台 8K VR 相机,将百兆码率的景区 360 度全景视频通过 RTMP 协议,再经 5G 信号或千兆宽带传输到省级 5G 核心机房,或景区当地的边缘节点来对实时图像进行处理。在全景视频编码中,对原始图像的切分编码使用 HEVC MCTS(Motion-Constrained Tile Set)来实现。

中国电信 8K+VR 视频直播方案如图一所示,构建于英特尔 OVC WebRTC 360 Video Sample 和 SVT 开源架构之上。OVC WebRTC 是一款端到端媒体服务器软件,可实现实时音视频分析功能;SVT 是英特尔基于软件的视频编码架构 ,可使编码器在第二代英特尔® 至强® 可扩展处理器上实现性能 、延迟和视觉质量之间的最佳平衡,并允许编码器根据质量和延迟来调整应用程序的性能目标;同时,为了保证系统高效运作,方案依托第二代英特尔® 至强® 可扩展处理器的多核特性和更高的每核性能,以及扩展的 I/O 性能与低延迟优势,有效提供 8K HEVC 的实时转码能力,使端到端时延大幅缩短,转头延迟相比开源方案大幅降低。

图一 中国电信 8K+VR 直播方案技术架构

为了解决传统 FOV 传输方案必然引入的视角切换延迟问题,中国电信天翼云研发团队创新性地采用了全传输架构下的 FOV 渲染解决方案。与传统 FOV 方法的根本不同在于,全传输架构下的 FOV 渲染,所有的视频数据都传送到本地,当客户端旋转视角时,可以自动选择对应的视角部分的数据进行渲染,而这大大缓解了转头延迟带来的眩晕感,为用户提供了舒适自然的 “云游” 体验。

为了降低用户使用门槛,支持移动端 VR 视频 FOV 渲染播放,中国电信天翼云研发团队将开源的 VR 播放器成功移植到手机移动端和 VR 一体机上,为用户提供稳定便捷的全景视频体验,并计划开源 CTYun VR SDK,回馈开源生态。

体验无止境!在终端超分辨率视频呈现方面,中国电信天翼云使用超分辨率算法对解码后的视频图像进行了进一步的增强和渲染,避免了观看全景视频或者聚焦于某个细节进行观察时,模糊、锯齿或者分块等不良感觉。除此之外,中国电信天翼云后续还将部署基于边缘计算的实时拼接方案,基于云端的画质增强智能转码进一步提升画质,为用户提供更加身临其境的沉浸式体验。

基于中国电信与英特尔的紧密合作,8K+VR 直播方案已经在一闻名于世的 5A 景区落地应用,直观展现了景区的千年风貌和特色文化,帮助人们通过新技术,沉浸式地享受异常空前的休闲文化盛宴,尤其是给因受疫情影响原地过年的人们带去了远程饱览祖国大好河山,打造更有意义春节的新模式,受到热烈欢迎和积极反馈。
 

展望

伴随 5G 商用的快速发展,VR 直播等云边协同应用已成为推动行业转型、消费普及以及应用创新作的重要方向。把握这一切趋势,中国电信正在加快推进 “云改数转” 转型升级战略,基于天翼云和 MEC 平台为垂直行业领域客户提供灵活的 5G 边缘应用方案和丰富的交付服务。英特尔也将与中国电信紧密携手,基于第三代英特尔® 至强® 可扩展处理器带来的更多和更强大的内核,以及广泛的频率、功能和功率选择等特性,为天翼云提供更强劲的基础算力,同时提升 MEC 平台 VR 应用的实时处理效能,进而更好响应日益增多的 5G 边缘业务场景需求,为 VR 等产业创新不断提供动力。