众多行业和细分领域目前都在以人工智能 (Artificial Intelligence,AI) 技术的突破为契机,加速推进自身的数字化和智能化转型,园区管理也在积极迎接这一变革。由于传统园区管理中一直存在人员流动监管困难、安全警讯上报复杂、监控设施成本高企等难点,园区管理 AI 应用的核心需求先期就聚焦在基于 AI 的视频监控应用上。园区管理者们都期待借助越来越普及的高清摄像头,搭配以成熟、易用和高精度的视频监控技术,打造出更先进的智慧园区管理系统,达到事半功倍的管理效果。
作为国内知名的大数据存储与智能处理厂商,南京云创大数据科技股份有限公司 (以下简称 “云创大数据”) 在洞察园区管理这一核心需求后,开始依托自身在大数据存储与智能处理方面的专业优势,以视频数据智能化处理为纽带,着手将视频采集、图像检测、安全监控等应用场景聚合在一起,着手打造智慧园区用视频监控系统解决方案 (以下简称“视频监控方案”),旨在帮助智慧园区提升管理能力、服务体验及安保能力。
鉴于应用场景的特殊性,该方案对实时性和精度要求都非常高。来自云创大数据团队的设计要求是:在园区部署后,该方案可从近 100 万张图像中快速进行对比和匹配,以满足图像的秒级识别能力;同时还要求该方案能在园区内发生灾情时第一时间捕捉到警讯,并提供秒级告警。
要实现上述性能指标,该方案就必须在视频处理 (视频编解码) 和 AI 推理两个主要环节兼具强大的处理能力。可云创大数据要独立且从头设计和开发这些能力,无疑将消耗大量资源,而且在短期内也很难实现。为此,它与英特尔开展了深度技术合作:一方面引入久经考验的英特尔® 视频分析参考设计方案,借助其中至强® 处理器与英特尔® Media SDK 的组合来为视频编解码提供加速支持;另一方面借力 OpenVINO™ 工具套件提供的转换工具,将方案中 AI 推理环节采用的 FP32 模型转换成效率更高的 INT8 模型,从而能充分利用英特尔® 至强® 可扩展平台集成的 AI 加速能力——主要是英特尔® 深度学习加速 (英特尔® DL Boost) 技术提供的 INT8 模型推理加速能力。这一双管齐下的策略,让云创大数据为该方案增添了端到端的、高效的和全流程的处理能力,同时英特尔全面、周到的源码和 Demo 分享支持,也帮助云创大数据大幅缩短了这一方案的开发周期,实现了更迅捷地构建和部署。
云创大数据智慧园区用视频监控系统解决方案实现的优势:
• 该方案通过导入英特尔® 视频分析参考设计方案,借助至强®️ 处理器与英特尔® Media SDK 组合带来的软硬协同加速效果,满足了海量原始高清视频编解码任务在效率上的严苛要求;
• 该方案借助至强® 可扩展平台集成的 AI 加速能力,尤其是 OpenVINO™ 工具套件提供的从 FP32 到 INT8 的模型转换能力,以及第二代英特尔® 至强®️ 可扩展处理器集成的、可加速 INT8 推理的英特尔® 深度学习加速技术,在确保准确率不受影响的情况下,显著提升图像识别 AI 推理的速度;
• 通过采用上述两组高效且成熟的产品技术组合,云创大数据在该方案开发上的耗时也得以大大缩短,从原先预期的六个月减到实际的三个月1,更快地满足了最终用户在智慧园区 AI 应用方案上的落地需求。
方案架构解析:从视频处理到 AI 推理
从全局角度审视云创大数据的智慧园区视频监控方案,其架构特点就在于采用了端到端的设计理念。在前端,该方案导入了内置高清摄像头、空气传感器及无线网络设备的智慧路灯伴侣,它兼具视频监控、声音录制、空气检测、公共 WIFI 等功能。如图一所示,这个智慧路灯伴侣可方便地安装在园区已有的路灯杆上,可对人行道和车道实施 360 度的全景监控。
由智慧路灯伴侣采集到的高清视频数据,可通过网络传输到方案的后端,也就是云端的大数据处理平台上。该平台是整个方案能力的主要载体,这些能力包括视频处理环节,如视频编解码、压缩转换等处理,以及 AI 推理环节——利用 AI 技术实施图像识别等操作,这两个环节正是整个视频监控方案得以输出高效安全监控能力的关键所在。
如图二所示,英特尔产品技术发挥功用的主战场,正是在该方案后端的大数据处理平台之上,也正涉及到视频编解码和 AI 处理两个关键环节。
这里所指的视频编解码,是要将高清摄像头捕捉到的海量原始视频数据压缩成易于后续处理的数据流,并将这些数据以 RAW 图像的形式存储到图像缓存。AI 处理环节则包括检测、分类和比对三个模块。在检测模块中,系统会利用既有的检测模型,从图像背景中分离出目标物体并得到类别标签、位置标签等信息,且以列表形式存放在目标分类中;分类模块是将上述目标分类以结构化方式处理成为预设的类别目标图;比对模块则是将目标图与预设库中的数据进行余弦相似度对比,输出 TOP 值,排在首位的 TOP 值即为识别结果。
用英特尔® 视频分析参考设计方案破解编解码挑战在视频监控方案的视频编解码环节,此前云创大数据要实现的目标是:原始视频存储空间大,占用带宽高,且不同设备中需要的视频格式各有不同,所以需要将前端采集到的原始视频进行编解码处理,压缩体积并转换格式,以便于后续分析和实施 AI 推理。在本方案中,视频采集端由 60 路高清摄像头共同作业,采用 1080P 显示格式,每路约 4Mbps 码流,采集到的视频数据量级非常庞大,每日约 2TB,图片约 500 万张。如此巨量数据的实时编解码处理,需要强大的算力予以支撑,毕竟,视频编解码效率的高低、差错率的大小以及实时性的优劣,都会直接影响方案的整体处理效能。
对此,云创大数据的策略就是导入英特尔® 视频分析参考设计方案,包括采用基于英特尔® 至强®️ 可扩展平台的编解码服务器作为基本的算力输出引擎,并在其上加装可充分释放该处理器潜能的英特尔® Media SDK 软件工具包来进一步加速视频编解码性能。英特尔® Media SDK 内置丰富的函数库,能帮助开发者自动选择最优的软/硬件编解码方式以及内存选用类型,以支持硬件加速;它内置的视频拼接技术还能帮助系统实现多路视频处理,也为云创大数据视频监控方案未来的应用场景扩展奠定了坚实基础。
借至强®️ 可扩展平台 AI 加速能力提升推理效能
在致力于破解视频编解码挑战的同时,云创大数据也在寻求视频监控方案的另一个关键环节—— AI 推理部分的加速方案。
以 AI 推理环节的检测模块为例,其选用了经典的、在检测速度与精度方面都有显著优势的 Yolov3 算法来实施目标检测。Yolov3 的优势在于加强了对细小物体的识别能力,非常适用于园区这类复杂场景下的图像识别。它还采用了数据流图形式的网络结构,因此云创大数据在方案中采用了支持数据流图的 TensorFlow 深度学习框架来构建该模型,通过反复迭代优化后,整个方案在视频监控主要应用场景中的准确率已达近百分之百。
准确率虽有保障,但 Yolov3 在推理速度上还有较大的提升空间,要满足毫秒级的识别速度,云创大数据认为有必要进一步优化其推理性能。众所周知,低精度数值可以更好地提升内存数据传输效率,减少带宽瓶颈,从而更充分地利用计算和存储资源,降低系统开销。换言之,在同样的资源支持下,INT8 (8位整型数) 相比 FP32 (32 位浮点数),可为 AI 推理带来更多的每秒操作数 (Operations Per Second,OPS)。近期也有大量 AI 应用实践表明:在图像识别、图像分类等深度学习场景中,采用 INT8 等较低精度的数值替代 FP32,可在不影响准确率的前提下显著提升推理速度。
虽然业界都认可这一解决路径,但要使用 INT8 参数实施推理和比对,就需要解决两个问题,一是如何更便利地将 FP32 模型中的相关参数输出后,再转换成 INT8 参数用于推理;另一点是如何对转换好的模型及操作提供更进一步的性能加速支持。
在英特尔的支持下,云创大数据导入了集成 AI 加速能力的至强®可扩展平台来应对这两个问题。具体来说,就是利用该平台中用以加速 AI 推理及部署效率的软件工具套件—— OpenVINO™ 工具套件来支持模型转换,再用第二代英特尔® 至强®️ 可扩展处理器集成的英特尔® 深度学习加速技术来进一步提升转换后的 INT8 模型的推理效率。
OpenVINO™ 工具套件从 2018 R4 版本就开始提供 FP32 模型到 INT8 模型的转换功能,并从 2019 R1 版本开始,对基于第二代英特尔® 至强®️ 可扩展处理器所集成的英特尔® 深度学习加速技术提供了更优的支持。
利用 OpenVINO™ 工具套件,云创大数据的方案就可将训练好的模型进行转换和优化。OpenVINO™ 工具套件中的转换工具 (Calibration Tool) 可将 FP32 格式的文件转换为 INT8 格式的 xml 文件和 bin 文件,在转换的过程中需要用到一个小批量的验证数据集,并且会将转换量化过程中的统计数据存储下来,以确保在后续的推理过程中精度不受到影响。如图三所示,与传统的转换方式相比,利用 OpenVINO™ 工具套件,系统只需转换一次即可,转换效率大为提升。
模型转换之后的性能加速,主要依靠英特尔® 深度学习加速技术来实现。该技术可通过新增的矢量神经网络指令 (VNNI) 实现 INT8 推理加速。根据英特尔的测试,在启动这一技术特性后,第二代英特尔® 至强®️ 可扩展处理器相比上一代产品,可助推理性能提升高达 30 倍2。云创大数据在视频监控方案中利用这一技术后也收获了令用户满意的加速效果。
除英特尔® 深度学习加速技术外,至强®️ 可扩展平台其他性能加速及功能特性对方案的 AI 推理加速也大有裨益。以该方案 AI 推理环节中的比对模块为例,除了模型参数的数值类型外,特征库比对效率也会对 AI 推理的速度和准确率带来巨大的影响——特征库量级越大,比对结果越精确,比对速度就越慢,因此算力的强弱与否对提升特征库比对的效率至关重要。针对特征库比对所需的高频、多核算力,第二代英特尔® 至强® 可扩展处理器也凭借相比上一代产品更为优化的内核微架构、核内互联和内存控制器等技术和特性予以支持,从而使百万级特征库数据的比对速度获得大幅提升。
成果:开发用时减半 迅速落地园区
通过与英特尔的密切协作,云创大数据面向智慧园区的视频监控方案已在多个实际场景中成功落地,并赢得了用户的好评。例如在某工业园区发生突发事件,包括火灾情况、交通事故、特殊案件后,系统能实现秒级告警,让园区得以实时响应。
来自英特尔一系列先进产品技术的助力,特别是英特尔® 视频分析参考设计方案及至强®️ 可扩展平台对视频处理和 AI 推理的加速支持,以及英特尔与之相配套的一系列完善、周到的技术支持,也帮助云创大数据省去了大量的系统构建、调优和 Debug 工作,令该方案的开发周期从原本预估的六个月缩短至实际的三个月1,助其赢得了抢占市场的先机。
更值得一提的是,在双方的合作进程中,云创大数据还对英特尔® 傲腾™ 持久内存以及英特尔® Movidius™ 视觉处理单元在视频监控方案中的应用开展了初步的研讨。现已有结果表明,傲腾™ 持久内存能对处理能力过剩但内存容量不足的应用场景提供有效支撑,并可降低系统建设成本;英特尔® Movidius™ 视觉处理单元则能提供强劲的边缘视觉计算性能,能够在高清摄像头端执行 AI 推理操作,进一步提升系统的敏捷度。双方已经计划围绕这些具备潜在应用价值的技术或应用点,于未来开展更多深层次合作,以持续在大数据处理、提升 AI 效能和加速 AI 应用落地等方面为各行各业用户提供更具竞争力的解决方案。