当虹科技

英特尔® 数据中心 GPU Flex 系列 170 助力当虹科技打造高效 AI 老片修复系统

  • 为满足高速发展的传媒行业对老片修复的需求,当虹科技与英特尔合作,以第三代英特尔® 至强® 可扩展处理器和英特尔® 数据中心 GPU Flex 系列 170 为硬件基础,以英特尔® oneAPI 工具套件和英特尔® 分发版 OpenVINO™ 工具套件为软件基础进行编程和优化,打造了 AI 老片修复系统,实现了老片修复的多样化、高效化和智能化。

author-image

作者

执行概要

视频作为对物理世界的数字还原,始终以更高清的画质和更实时的交互为目标发展演进。在拍摄端,智能手机摄像能力不断增强,用户无需携带专业的设备即可拍摄 4K 超高清视频;在显示端,视频网站持续升级视频画质,并利用人工智能 (AI) 算法还原光线、质感、皮肤、纹理等细节,4K 及以上分辨率已经占据电视市场销售的主流。产业链条的完善将推动视频应用向超高清时代迈进。

“为满足高速发展的传媒行业对老片修复的需求,我们与英特尔合作,在第三代英特尔® 至强® 可扩展处理器、英特尔® 数据中心 GPU Flex 系列 170、英特尔® oneAPI 工具套件和英特尔® 分发版 OpenVINO™ 工具套件的软硬件协同支持下,打造了智能高效的一站式和全流程 AI 老片修复系统。我们的系统广泛适用于老片修复场景,包括老电影、历史资料纪录片、国家文化数据音视 频素材等老片资源的高效智能翻新与修复。”

——黄进,当虹科技首席技术执行官 (CTO)

图 1. 2017-2022 年中国超高清视频行业市场规模及增速

AI 画质增强技术不断演进,视频超分和插帧等算法在老片修复及 4K 生成等场景得到了广泛应用。老片修复是指通过视频超分1,结合去噪、去划痕和插帧等技术,在画质与流畅度等层面对老旧影像素材进行观感优化,旨在用高质量帧替换低质量帧,从而提升老片资源的质量2。当今随着新媒体的高速发展,各种显示设备的分辨率不断提高,人们对影片清晰度的要求也越来越高。根据优酷统计数据,年轻人因画质差而在一分钟内弃剧的比例高达 70%3。在这样的背景下,老片修复成为了大势所趋。一方面,老片修复可以让更多年轻观众欣赏到经典的“真容”,感受到经典作品所传达的精神与理想;另一方面,近年来政府方面对老片修复也非常重视。早在 2006 年,国家就已经开始实施“电影档案影片数字化修复工程”,计划用 5 年时间斥资 2.8 亿元来修复 5000 部影片,陆续把中国近 4 万部老电影胶片做数字化修复和存档4

然而,老片(尤其是胶片电影)的修复是一项大工程。首先,受当时拍摄条件的限制,老片的画质清晰度低;其次,老片往往帧数较少,流畅度也相对较低;另外,采用老色彩标准制作的老片,因亮度动态范围较低,故而存在色彩失真的问题;最后,老胶片还普遍存在灰尘、污垢、霉斑、掉色、图像抖动、划痕、闪烁和噪声等问题。要克服这些挑战并实现老片的高效修复,单靠人工是行不通的。因此,当虹科技与英特尔合作,以第三代英特尔® 至强® 可扩展处理器和英特尔® 数据中心 GPU Flex 系列 170 为硬件基础,以英特尔® oneAPI 工具套件和英特尔® 分发版 OpenVINO™ 工具套件为软件基础进行编程和优化,打造了 AI 老片修复系统,实现了老片修复的多样化、高效化和智能化。 该方案可用于老胶片电影的修复、重要历史资料纪录片的翻新和大数据人文素材的修复等场景。

传统人工修复方法耗资费时,技术加持势在必行

传统人工老片修复方法主要面临三个方面的挑战:

  • 逐帧调整带来的庞大工作量:过去的常规影片每秒钟有 24 帧画面,如果按照每部老片时长 110 分钟来计算,一部影片会有 15 万帧左右的画面5。对于人工修复来讲,这样的工作量无疑是 一项巨大的挑战。
  • 有限的修复效率拉长整体修复时间:据了解,如果一部老片靠纯人工精修,每人每天仅能够完成 20-30 帧的修复工作。按照这样的效率,一个团队要修复完一部老片,至少需要 2-3 个月的时间6。当需要修复的老片保存状况不乐观,人工修复的流程会更加复杂,耗时也将相应增加,而如此长的时间跨度将会对最终的修复效果产生一定影响。
  • 稀缺的修复师资源与巨大的成本需求:现如今,有经验的修复师非常稀缺,而愿意投入到老片修复工作的人也越来越少,导致很多老片修复项目难以推进。另外,老片修复的成本也是非常巨大的。在 2014 年,中国电影基金会启动了老电影修复基金,在近 8 年时间里,中国政府拨款 3.7 亿元,才完成了近 7000 部电影的数字转码和 210 部电影的修复7

当虹科技采用英特尔® 软硬件产品组合,打造高效 AI 老片修复系统

鉴于上述人工修复方法存在的三大挑战,当虹科技采用英特尔® 软硬件技术,全力打造高效 AI 老片修复系统,致力于为老片修复提供可靠的技术支持。

英特尔® 数据中GPU Flex 170 为老片修复提供可靠的算力基础

英特尔® 数据中心 GPU Flex 系列 170 是英特尔于 2022 年全新推出的一款面向多媒体转码、视觉图形处理和云端推理的数据中心 GPU。它支持高质量转码且具备出色的图形计算性能,运算速度高达每秒 150 万亿次 (150 TOPS)8。该 GPU 配备了英特尔首款基于硬件加速的 AV1 编码器,能够在不牺牲质量的前提下将比特率提升 30%9。根据最大功耗的差异,英特尔® 数据中心 GPU Flex 系列具有两种规格,即英特尔® 数据中心 GPU Flex 系列 140(最大功率为 75 W)和英特尔® 数据中心 GPU Flex 系列 170(最大功率为 150 W)。本次方案采用的是英特尔® 数据中心 GPU Flex 系列 170,它拥有 32 个 Xe 内核并且配备了 4 个 Xe 媒体引擎、GDDR6 内存、光线追踪单元和内置 XMX AI 加速10。通过与第三代英特尔® 至强® 可扩展处理器协同配合,为当虹科技 AI 老片修复系统提供了可靠的算力保障。

英特尔® oneAPI 工具套件:简化代码迁移,实现事半功倍

在传统行业的信息化浪潮下,软、硬件体系迅速发展,为应对工作负载和应用场景多样化需求,诸如 GPU 和 FPGA 等非 CPU 计算单元被越来越多地引入平台架构中,组成了复杂的异构平台。这一趋势使得跨架构开发和维护变得越来越普遍,也越来越复杂。同时,这也对开发人员提出了新的挑战——他们必须对多种硬件及相应的开发手段和技巧足够了解,才能充分利用平台中各个计算单元的优势。然而,一般情况下一名开发人员很难同时掌握架构中多种硬件的知识及其背后编程语言,因此需要一个统一的模型来支持更加简易的跨架构编程与开发。

英特尔专为应对这种挑战而打造了英特尔® oneAPI 工具套件:它是一个开放的、标准统一的软件工具,旨在简化跨架构开发与维护工作以及为开发人员提供统一的开发体验。英特尔® oneAPI 工具套件可让开发人员能够自由选择架构,无需在性能上作出妥协,同时也大大降低了使用不同的代码库、编程语言、编程工具和工作流程所带来的复杂性11

图 2 . 英特尔® oneAPI 工具套件:统一的跨架构编程模型

当虹科技的老片修复系统采用了英特尔® oneAPI 工具套件中的 DPC++ 兼容性工具,将多个内核函数从 CUDA 迁移到了 SYCL。移植后的代码可在 CPU 和 GPU 之间无缝切换、统一运行,并在英特尔® 数据中心 GPU Flex 系列 170 上实现了高效运行。与基于前代产品的解决方案相比,基于英特尔® 数据中心 GPU Flex 系列 170 的系统能够以更低的功耗提供更具竞争优势的性能12

英特尔® 分发版 OpenVINO™ 工具套件:加速 AI 推理,进一步提升修复效率

英特尔® 分发版 OpenVINO™ 工具套件是面向英特尔® 硬件的优化部署工具,可以简化代码的采用和维护,旨在赋能 AI 推理加速和方案部署优化。借助 Open Model Zoo 提供的经过优化的预训练模型以及模型优化器 API 参数,开发人员能够高效便捷地进行模型转换以进行推理。该套件可帮助开发人员在各种计算设备上运行推理,专为加速机器学习解决方案开发而设计。

在本次方案中,当虹科技采用了英特尔® 分发版 OpenVINO 工具套件用于老片修复中的 AI 模型算子优化。

图 3. 英特尔® OpenVINO™ 工具套件工作原理示意图

除此之外,当虹科技的 AI 老片修复系统基于视频质量和性能的优化还包括:利用 lookahead 参数提升了 10% 的编码质量。lookahead 是一种预编码模块,它会使用经过下采样的低分辨率图像预先对视频进行一轮编码,并缓存大量有用的信息供后续正式编码使用,它表示预编码的帧数,增加这个值利于提升编码质量。英特尔工程师与当虹科技软件工程师合作,使用 3DLUT 加速 HDR 硬件性能,并借助英特尔® Deep Link 技术提升推理和分析性能。

当虹科AI 老片修复系统:高效、智能、一站式、全流程

基于以上英特尔的软硬件产品,当虹科技成功打造了一站式、全流程的 AI 老片修复系统。通过以下四个步骤,实现了老片修复的加速和提效:

  • 媒体数字化:通过胶片数字化仪器,将胶片电影转化为数字影片,即“胶片转数字,磁带转数字”。
  • 数字媒体修复:包括视频修复和音频修复,通过 AI 修复和手动修复相结合的方式,对素材的各类损伤进行处理。该步骤中 AI 修复的引入大大提升了修复工作的效率。例如进行划痕修复时,如果仅靠人工修复,需逐帧排查是否存在划痕,再手动进行修复,而 AI 修复则能够基于深度学习模型和未损伤画面的特点,对划痕进行更为高效的自动修复;进行图像增强时,按照传统工艺,需要专业人员进行操作,并且一周只能完成一帧的工作量,而 AI 修复则将图像增强的效率提升到了每天上万至几十万帧13
  • 色彩修复:该步骤首先结合老片的时代背景和艺术特点用手工的方式给关键帧上色,再让 AI 算法进行学习并给其他片段智能上色。
  • 数字媒体增强(合成、增强和转码):在色彩修复完成后,一部老旧的电影就已经能够达到标清/高清 SDR 视频的标准了;而当虹科技的系统还能够通过 AI 视频增强技术对处理过的视频进行增强和图文包装,实现画面观感上的进一步优化,通过智能插帧、AI 超分和 HDR 上变换等算法让修复后的老片画面更流畅和更逼真。

图 4 . 当虹科技基于英特尔® 数据中心 GPU Flex 系列 170 的 AI 老片修复系统

表现出色,荣获科技创新优秀奖

当虹科技基于英特尔® 软硬件技术的 AI 老片修复系统实现了老片修复效率的跃升。按照以往人工修复的方式,一部老片完整的修复工作所需的时间可以达到 2-3 个月,而使用当虹科技 AI 老片修复系统,仅需 10-20 个小时就可以完成一部老片的修复,效率提升了上百倍5。该方案以出色的性能,在国家科学技术部批准设立的 2021 广播电视科技创新奖评奖中,荣获科技创新优秀奖14

以下为当虹科技 AI 老修复系统效果展示(左为处理前,右为处理后):

合作创新,共创更美好的未来

自成立以来,当虹科技不断追求技术进步,与英特尔等全球知名厂商建立了深度合作。未来,当虹科技将继续与英特尔展开合作,在大视频和传媒文化等方向谋求更多创新和突破。