得益于沉浸式的视听体验、良好的互动性、以及对空间和场地束缚的摆脱,虚拟现实(Virtual Reality, VR) 技术正在医疗领域获得更多的应用。尤其在医疗培训环节, VR 应用不仅能通过直观、真实和多维度的互动过程,帮助受训者了解、学习和强化急救等医疗知识。同时其也能借助远程带教查房、远程会诊等方式,将更多诊疗知识与经验分享给受训医生,提高边远、基层地区的医疗水平,造福更多患者。
北京某三甲医院急诊医学中心 (以下简称“北京某三甲医院”) 正与火山引擎、英特尔等合作伙伴一起,基于全新的 VR 医疗培训应用,打造集人工智能 (Artificial Intelligence,AI)、全息/VR 和物联网 (Internet of Things, IoT) 等技术为一体的医学应急教育培训中心,提升北京某三甲医院在医疗培训领域的工作效能。
网络与时延压力并重,超高清画质难以实现
远程实时查房等 VR 应用将带来海量的数据采集、处理和传输需求,如全部工作负载均通过远端数据中心/云服务完成,势必带来巨大网络压力。而 VR 应用中的沉浸式、交互式体验,也需要方案能有效缩短系统的端到端整体时延;医疗场景的特殊性需要 VR 应用能在现有网络带宽下,提供更高分辨率的视频格式 (例如 8K) 来展现各类细节,这对视频编解码过程的优化能力提出了巨大挑战。
为帮助北京某三甲医院打造高效能的 VR 医疗培训应用,火山引擎与英特尔一起,一方面通过火山引擎边缘计算节点的引入,构建基于边缘云的边缘渲染平台,让 VR 应用中的数据处理效率更高,满足 VR 医疗培训场景在超低时延、超高带宽和安全性等方面的需求。另一方面,双方也在方案中引入火山引擎多媒体实验室自主研发的 BVC 编解码器,并融合英特尔® 高级矢量扩展 512 (英特尔® AVX-512)提供的各项优化措施,使 VR 医疗培训应用实现超清、高质视频的实时快速解码能力。
现在,三方正展开深度合作,以解剖、急救、临床手术、护理等医疗理论为基础,结合 AI 算法、全息/VR 等技术实现人机交互,在北京某三甲医院成功构建融合“AI + 全息/VR + IoT”技术为一体的医学应急教育培训中心。通过 VR 医疗培训应用为受训医生、医学院学生、医学应急志愿者以及社区居民提供了大量的远程互联网医学教学,并获得了良好的反馈。
构建基于边缘云的边缘渲染平台,引入英特尔® 至强® 可扩展处理器,打造高效视频编码器
VR 医疗培训方案的整体架构如图二所示,其由部署在第一现场 (病房)、边缘云和第二现场的不同处理设备和显示终端 (VR眼镜)组成。其中第一现场部署有音视频采集设备 (如全景高清摄像头),这些数据将经由 5G 网络被高速同步到部署在医疗培训中心附近的边缘云中进行音视频渲染和数据计算处理。经渲染后的 VR 视频流,将在编码压缩后通过高速 5G 网络推送到第二现场的 VR 眼镜中,方便使用者(教学中的医生、医学生以及志愿者等) 进行 VR 远程查房、 VR 远程指导、 AED (自动体外除颤器) VR 无线急救等行为。而进行中的用户行为数据也会被同步回传至边缘云进行处理,由此形成整个 VR 医疗培训闭环流程。
▪ 基于边缘计算的网络链路
在网络链路层, UPF 下沉到网络边缘,本地传输数据至火山引擎边缘计算节点,实现数据的本地分流,一方面可以降低传输时延,另一方面缓解传输网的带宽传输压力,从而提高网络数据处理效率,满足垂直行业对网络超低时延、超高带宽和安全性的需求。
▪ 基于边缘计算的边缘渲染平台
渲染平台基于边缘计算云平台底层海量边缘节点、多种异构算力资源,配合资源编排、智能并发调度、实例管控等关键能力来管理渲染应用的全生命周期;通过手机、电脑或 VR 设备的轻量端即可接入访问 3D 应用,捕捉用户的交互指令如视频采集、动作捕捉、键盘鼠标触摸手势等,并实时传输至边缘渲染应用;平台基于指令捕捉与重现、图像渲染、画面抓取、音视频编码等核心能力,将实时渲染效果通过实时音视频传输协议推流到用户端,实现接近本地的实时交互体验。满足数字人、 VR/AR、云游戏、虚拟培训、直播特效等场景对实时渲染算力的需求,带来超高清、低时延、可交互、沉浸式的极致视觉体验。
同时,为提高 VR 医疗培训应用使用时的沉浸感和交互感,以及支持 8K 视频分辨率带来的编码与传输压力,火山引擎也在方案中引入旗下多媒体实验室自研的 BVC 编解码器。这一编码器与系统算力核心:英特尔® 至强® 可扩展处理器中内置的英特尔® AVX-512 指令集相配合,可对视频编码进行一系列深层次优化,为方案带来更高压缩率、更快编码速度、更低时延以及更低占用带宽等优势。
▪ 英特尔® AVX-512带来出色性能优化
英特尔® AVX-512 指令集是由英特尔提供的最新一代单指令多数据 (Single Instruction Multiple Data, SIMD) 指令集。得益于其在寄存器位宽等方面的优势,内置英特尔® AVX-512 指令集的各款英特尔® 至强® 可扩展处理器,在音视频处理、数据加密压缩以及深度学习等高密度计算处理场景中有着出色的性能表现。
基于英特尔® AVX-512 指令集提供的 BVC 编解码器优化方案,能为 VR 医疗培训应用带来压缩率高、编码速度快、占用带宽低等优势,并使 VR 医疗培训应用能在 15M 的低带宽网络环境下实现接近 8K 的电影级显示画质,从而有效保障了 VR 医疗培训所需的高精细度画面,为远程带教、远程会诊等场景提供了更可靠、逼真的画面展示。
低时延+超高清画质, VR医疗培训更灵活
在急救知识普及、急救体系完善上, VR 医疗培训相比传统医疗培训有着以下优势:
- 体验沉浸式: 通过将培训内容游戏化、故事化、场景化,并借助 AI 技术提供的真实性培训场景,以及边缘云、 BVC 编解码器等实现的近 8K + 电影级的画面效果显示,让受训者通过 VR 眼镜的交互互动,提高受训参与度、增强感官刺激,加深受训记忆;
- 形式多样化: 传统培训受空间、场地限制,单次培训人数有限。 VR 医疗培训应用能够利用云端的海量算力,理论上支持的受训人数没有上限,可大幅提高受训规模,提升培训效率。同时其摆脱了场地和时间的束缚,能让受训者更灵活且高效的安排受训时间;
- 推广费用低: 培训内容 VR 化后,可多次重复使用,达到一次投入,永久使用的效果。每次使用的边际成本,除 5G 流量费用以外几乎为 0,有效帮助北京某三甲医院等医疗机构压降培训成本,提升经济效益。
在利用 VR 技术开展远程会诊、实时查房等功能时, VR医疗培训应用也能为使用者带来以下获益:
- 打造 VR 全景式带教查房: 带教医生可摆脱物理场地束缚,通过部署在病房的全景高清摄像头,完成对第二现场的医学学员的培训。相对应的,远在第二现场的医学学员也可以不用到医院现场,通过 VR 眼镜完成远程受教。同时,因不受物理空间限制,带教查房单次人数得以扩大,提升教学规模与效率;
- VR 远程会诊及查房指导: 有别于传统远程会诊,借助 VR 医疗培训应用,专家可在第二现场通过 VR 眼镜对全景高清摄像头下的一线医生进行远程指导。近 8K + 电影级的画面效果能更直观的显示病人画面,并能和病人实时交流,有助于医生的判断。另外,如医生下班后需要与病人简单沟通,也可通过 VR 眼镜来完成,保证突发情况不会影响正常的诊疗过程。