AI 的大模型时代 ≠ 只有大模型的 AI 时代

文章来源:量子位

  • 如何在物流交通等行业普遍应用的英特尔® 平台上加速 AI 应用落地并优化其性能表现?面对大模型落地和加速难题,英特尔® 平台又能带来哪些惊喜?

author-image

作者

什么样的技术能经历时间洗礼还历久弥新?

答案或许可以归总为一个“三部曲”般的规律——兴起发展大规模应用,外加这个过程再一次演进式的迭代。

以史为鉴,引领第一次工业革命的是蒸汽机,当它演进成为内燃机并开始普及时,第二次工业革命的颠覆者——电能本身以及与它相关的各种设备正处于初创期,而在电力设备走向微电子的迭代革新时,各种燃油引擎还在持续改良和普及中。

从这个规律来看,大语言模型(简称 LLM)出现后虽然霸占了所有与 AI 相关的关键词,吸引了所有人的注意力,但这并不代表“LLM 之前无 AI”。在大模型出尽风头的同时,此前以决策为特长的老一代机器学习应用,以及侧重感知能力的“传统”深度学习应用也没闲着,它们正走过喧嚣的青春期,步入稳扎稳打的实战阶段。

何以为证?

英特尔今年推出了一连串的 AI 实战手册,分别锁定制造与能源、医药、金融、交通与物流,以及教育行业的 AI 实践。在今年更新的物流交通和医疗健康 AI 实战手册中,就记录了很多已经或正在落地的 AI 应用,及如何将它们顺利部署和充分释放其性能加速潜力,当然还有它们在一些耳熟能详的头部企业深入一线的应用实例。

所以,AI 不是只有大模型。AI 的大模型时代也 ≠ 只有大模型的 AI 时代。

成熟的 AI,早就已经上岗了

或许你还不敢相信,现在哪怕小小的快递背后,都已经有 AI 技术在加持了。

没错,而且近乎涉足了物流全流程:下单、发货、分拣、转运、配送……AI 现在统统都要“管一管”。

以经典的 OCR(光学字符识别)技术为例,它在物流“技术界”的地位可谓是举足轻重,大幅提高了工作效率。

比如发货时的寄件人填报地址、身份信息,电商仓库核对出货的货品信息,都可以借助 OCR,“啪地一下”,实现一键录入。

随着 AI 技术的愈发完善和应用的加深,这种速度做到了“没有最快只有更快”。

我们熟知的韵达快递就是如此,在三段码 OCR 识别过程中,它原本希望 A I能将 OCR 识别的准确率达到 95%。

结果现在的 AI 却给韵达“上了一课”,不仅准确率直接飙到接近 98%,甚至时间也给“打了下去”:从 130ms 降至 114ms。

性能测试结果基于韵达于 2022 年 10 月进行的测试

而且 OCR 识别还只是 AI 涉足物流行业的小小一隅,一张图来感受下它现在所起到的 power:

嗯,AI 如此 all in,怪不得国内物流的速度都要起飞了呢。

不过朋友,这还仅仅是 AI 加速千行百业的一个案例,其实我们现在每天的出行,同样也充斥着 AI 的“味道”。

例如 AI 视频分析技术,可以针对高速公路上的路况做到实时地分析。

不论是车流流量监控、车辆车牌识别,亦或是事故预警等等,AI 可谓是将一切尽收眼底。

如此一来,便可以有效且精准地对路面状况做到把控。

再如机场,在 AI 技术加持下的摄像头,也可以细粒度识别航空器、车辆、人员,以及违边等情况,这样便对飞行区域的安全提供了一定的保障。

……

从以上几个小小用例中不难看出,“成熟”的 AI,或者说几年前那些当红明星类的 AI 应用看似风光不在,但它们实则已深入到我们生活中的方方面面,并且主打的就是一个“节支增效”。

那么如此“节支增效”背后,到底是怎么做到的?

不卖关子,直接上答案——

提供帮助的正是英特尔® 至强® 可扩展处理器。

但解锁如此能力的,可不仅仅是一颗 CPU 这么简单,而是有英特尔软件层面上的优化加成;换言之,就是“软硬一体”后的结果。

简单归结:至强® 可扩展处理器及其内置的 AI 加速器,以及 OpenVINO™️,oneAPI 等一系列 AI 框架和优化软件打辅助。

当前影响 AI 应用性能的要素无非两个:算力和数据访问速度。

目前最新的第四代至强® 可扩展处理器的单颗 CPU 核数已经增长到最高 60 核。而在数据访问速度上,各级缓存大小、内存通道数、内存访问速度等都有一定程度的优化,另外在 CPU Max 系列中还集成了 HBM 高带宽内存技术。

此外,在 CPU 指令集上也做了优化,内置了英特尔® 高级矩阵扩展(英特尔® AMX)等硬件加速器,负责矩阵计算,加速深度学习工作负载,堪称 CPU 加速 AI 应用的 C 位。

它有点类似于 GPU 里的张量核心(Tensor Core)。

AMX 由两部分组成,一部分是 1kb 大小的 2D 寄存器文件,另一部分是 TMUL 模块,用来执行矩阵乘法指令。它可同时支持 INT8 和 BF16 数据类型,且 BF16 相较于 FP32 计算性能更优。

有了 AMX 指令集加持,性能比前一代至强® 可扩展处理器内置的矢量神经网络指令集 VNNI 提升达 8 倍,甚至更高。

除了核心硬件平台外,实际情况中帮助这些行业实战 AI 应用落地的,还有一系列英特尔“亲生”但不“私享”的 AI 软件工具。

例如前面提到的 OCR 加速就离不开 OpenVINO™️ 的优化,它删减了很多训练部分所需的冗余计算,主要支持推理部分。

而且也是专门针对英特尔硬件打造的优化框架,只需 5 行代码就可以完成原有框架的替换。

用户可以针对不同业务场景,来优化 OpenVINO™️ 运行参数。

这样一套软硬件组合拳打下来,英特尔不仅充分释放了 CPU 计算潜力,而且在实际的推理场景中也实现了近乎 GPU 的性能,同时还有成本低、门槛低、易上手等附加优势。

然而,这些仅仅是已经成熟上岗的 AI 技术在英特尔® 平台上得到的优化,英特尔的能力还远不止如此。

这就要说回大模型了。

当红大模型,也在被加速

目前大语言模型正被全球各大科技公司竞相追逐,毕竟现在科技圈都将它视为未来发展的趋势所在。虽然相比那些成熟的 AI 技术和应用,它距大规模落地还有段距离,但其技术领先性不容置疑,乃至“老一辈”的 AI 应用也有望在与它结合,或被它改造后重焕新生。

英特尔作为基础算力输出者和应用性能加速器,同样在这场你追我赶的竞技场中未雨绸缪,早有布局。

首先,大模型再先进,也需要有更多人用上它,才可充分变现其价值。要想“玩转”它,在其庞大的体量面前,成本便是一个老大难的问题。

因此,英特尔就祭出了一款增强型的“减(量)重(化)神(工)器(具)”,可以让一个十亿参数的大语言模型瘦身 3/4,增强其准确性,还能有效地提升大模型在英特尔® 平台上的推理性能。

具体而言,所用到的是 SmoothQuant 技术,英特尔将其适配到自己的平台,并实现其增强。此方法已经整合至英特尔® Neural Compressor。这是一个包含量化、剪枝(稀疏性)、蒸馏(知识提炼)和神经架构搜索等多种常用模型压缩技术的开源 Python 库,它已经支持多款英特尔® 架构的硬件,并且已经兼容 TensorFlow、PyTorch、ONNX Runtime 和 MXNet 等主流框架。

其次,在硬件层面上,英特尔也有所发力。

例如最近大火的 ChatGLM-6B,其借助第四代至强® 可扩展处理器内置的英特尔® AMX,让模型微调计算速度得以大幅提升;利用至强® CPU Max 系列处理器集成的 HBM,满足大模型微调所需的大内存带宽。

英特尔® AMX 技术架构

除了 CPU,英特尔还有专用的深度学习加速芯片 Habana® Gaudi®2 ,其能在单个服务器内部署 8 张加速卡(称为 Habana 处理单元,即 Habana Processing Unit,简称为 HPU),每张卡内存高达 96 GB,可提供足够的空间来容纳大模型。

因此即使是 BLOOMZ 这样拥有 1760 亿参数的千亿级大语言模型,经英特尔优化后也能将性能时延控制在 3.7 秒。对于参数量为 70 亿的较小模型 BLOOMZ-7B,在 Gaudi®2 的单设备时延约为第一代 Gaudi® 的 37.21%;而当设备数量都增加为 8 后,这一百分比进一步下降至约 24.33%。

BLOOMZ 在 Gaudi®2 和第一代 Gaudi® 上的推理时延测试结果

而后在软件层面上,针对像 ChatGLM 这样大受欢迎的大语言模型,英特尔还可以通过为其创建 OpenVINO™ stateful 模型来实现优化:压缩权重以降低内存带宽使用率,提升推理速度。

这便是英特尔“软硬一体”打法在大模型应用上的直接体现了。而且硬件还不再仅限于 CPU,更是有可在训练和推理性能上都可与 GPU 比肩,在性价比上馋哭大家的 Gaudi®。

最后在安全方面,英特尔也是做到了“鱼与熊掌兼得”:基于英特尔® SGX/TDX 的可信执行环境(TEE)可为大模型提供更安全的运行环境,还不需要拿性能做交换。

这便是英特尔在 AI 大模型时代中的“加速之道”了。

还会带来怎样的变革?

纵观 AI 技术的发展之路,不难发现英特尔在其中履行着一条非常清晰的准则——用起来才是硬道理。甚至只在数据中心和边缘中用都不够,最好每个人的每台电脑,每个信息终端设备都有独立加速 AI 应用的能力才能“芯”满意足。

因此英特尔已将创新使命调整为:在各种硬件产品中加入 AI 能力,并通过开放、多架构的软件解决方案,推动 AI 应用的普及,促进“芯经济”的崛起。

英特尔的“加速之道”不仅是让技术更快落地和普及,更是要以用促用,以用促新,以用促变,为下一世代的技术变革埋下伏笔。

那么英特尔这条路上是否有一个终级目标?

或许正如 Intel Innovation 2023 上不断重复和强调的:

让 AI 无处不在(AI Everywhere)。