目录:
实战篇
- 如何在英特尔® 平台上实现高效的大语言模型训练后量化
- 用基于英特尔® SGX 的可信执行环境有效应对大语言模型隐私和安全挑战
- 只改一行代码,在第四代至强® 可扩展平台上高效微调优化 ChatGLM-6B
- 创建 OpenVINO™ Stateful 模型与 Runtime 流水线,赋能 ChatGLM
- BigDL-LLM:在英特尔® 平台上加速大语言模型的便捷新利器
- 英特尔® Extension for Transformer 一石双鸟:让 LLM CPU 推理加速达 40x + 攻克聊天场景应用难题!
产品篇
- 第四代英特尔® 至强® 可扩展处理器
- 借助英特尔® 高级矩阵扩展 (英特尔® AMX) 加速人工智能 (AI) 工作负载
- 英特尔® 至强® CPU Max 系列
- 英特尔® 安全引擎助力创新加速,增强数据保护
如何在英特尔® 平台上实现高效的大语言模型训练后量化
提升 SmoothQuant 量化方法的效力
作者:英特尔公司 陆崟彤、何欣、郭恒、程文华、王畅、王梦妮、沈海豪
本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术,说明了这项技术的用法,并证明了其在准确率方面的优势。此方法已整合至英特尔® Neural Compressor 中。英特尔® Neural Compressor 是一个包含量化、剪枝(稀疏性)、蒸馏(知识提炼)和神经架构搜索等多种常用模型压缩技术的开源 Python 库。目前,诸如 TensorFlow、英特尔® Extension for TensorFlow、PyTorch、英特尔® Extension for PyTorch、ONNX Runtime 和 MXNet等主流框架,都能与之兼容。
大语言模型
大语言模型 (Large Language Model, LLM) 需基于海量数据集进行训练,可能拥有数十亿权重参数。其先进的网络结构和庞大的参数量,使它们能够很好地应对自然语言本身的复杂性。完成训练后的大语言模型,可针对各种下游的自然语言处理 (NLP) 和自然语言生成 (NLG) 任务进行调优,让其更适合对话式聊天机器人(如 ChatGPT)、机器翻译、文本分类、欺诈检测和情感分析等任务场景。
大语言模型部署面临的挑战
大语言模型在执行自然语言处理和自然语言生成任务方面表现出色,但其训练和部署颇为复杂,主要面临以下挑战:
- AI 与内存墙瓶颈问题:算力每两年提高 3.1 倍,内存带宽却只提高 1.4 倍;
- 网络带宽挑战:训练大语言模型需要采用分布式系统,这对网络带宽提出了较高要求;
- 系统资源有限:训练后的模型往往会部署在算力和内存资源均有限的系统上。
因此,采用训练后量化的方法来为大语言模型瘦身,对于实现低时延推理至关重要。
大语言模型的量化
量化是一种常见的压缩操作,可以减少模型占用的内存空间,提高推理性能。采用量化方法可以降低大语言模型部署的难度。具体来说,量化是将浮点矩阵转换为整数矩阵:
其中 X_fp32、S 和 Z 分别为输入矩阵、比例因子和整数零点。
有关每通道 (per-channel) 量化策略虽然可能会减少量化损失,但不能用于激活值量化的原因,请参看 SmoothQuant 相关文档。不过,激活值量化误差损失却是导致模型量化准确率下降的重要因素。为此,人们提出了很多方法来降低激活值量化损失,例如:SPIQ)、Outlier Suppression 和 SmoothQuant。这三种方法思路相似,即把激活值量化的难度转移到权重量化上,只是三者在转移难度的多少上有所不同。
增强型 SmoothQuant
SmoothQuant 引入了一个超参数 α 作为平滑因子来计算每个通道的量化比例因子,并平衡激活值和权重的量化难度。
其中 j 是输入通道索引。
对于 OPT 和 BLOOM 等大多数模型来说,α=0.5 是一个能够较好实现权重和激活值量化难度分割的平衡值。模型的激活异常值越大,就越需要使用更大的 α 值来将更多的量化难度转移到权重上。
原始的 SmoothQuant 旨在通过针对整个模型使用一个固定值 α 来分割权重和激活值的量化难度。然而,由于激活异常值的分布不仅在不同模型之间存在差异,而且在同一模型的不同层之间也不尽相同,因此,本文推荐使用英特尔® Neural Compressor 的自动调优能力,逐层获取最佳 α 值。
相关方法包括以下五个主要步骤(伪代码如下所示):
- 通过特殊的回调函数 register_forward_hook 捕获 (hook) 模型各层的输入和输出值。
- 根据用户定义的 α 范围和步长生成一个 α 值列表。
- 根据给定的 α 值重新计算平滑因子并调整参数(权重值和激活值)。
- 对权重执行每通道量化与反量化 (quantization_dequantization),对输入值执行每张量 (per-tensor) 量化与反量化,以预测与给定 α 值对应的每层输出值。
- 计算相对实际输出值的均方损失,将调整后的参数恢复回来,并保存每层的最佳 α 值。
本文提出的方法支持用多个标准(如最小值、最大值和平均值)来确定 Transformer 块的输入层归一化 (LayerNorm) 操作的 α 值。实验发现,将 α 范围设为 [0.3, 0.7],步长设为 0.05,对大多数模型来说都能达到很好的平衡。
这一方法有两个显著特点:一是全自动化,二是比原始方法支持的融合模式多。
下图提供了在 BLOOM-1b7 模型上执行 SmoothQuant α 值自动调优的样例代码:
用户只需传递一个模型名称 (model_name) 和一个数据加载器。值得注意的是,模型分析主要依靠的是 Torch JIT。用户可以在加载 Hugging Face 模型时将 torchscript 设置为 True,或将 return_dict 设置为 False。更多信息请参阅英特尔® Neural Compressor 文档。
结果
本文提出的增强型 SmoothQuant 的主要优势在于提高了准确率。
经过对多种主流大语言模型的评估,具备自动调优能力的 INT8 SmoothQuant 最后一个词元 (last-token) 的预测准确率要高于原始 INT8 SmoothQuant 和 FP32 基线方法。详见下图:
作者: 英特尔公司人工智能资深架构师沈海豪、英特尔公司人工智能资深软件工程师程文华、英特尔公司人工智能软件工程师陆崟彤、何欣、郭恒、王畅、王梦妮,他们都在从事模型量化及压缩的研究与优化工作。 |