导语
DeepSeek 的火爆极大促进了大语言模型在千行百业的落地。
首先是有了使用的信心。DeepSeek-R1 推理模型已经拥有 6710 亿参数规模，符合“参数越多越智能”的认知，而且有实际测试表现和广泛的使用反馈作为佐证，让大家相信这个开源模型已经足够好了。其次是完全开源，不论是直接使用，还是用作基础模型进一步微调、后训练，都没有法律风险。其三是丰俭由人，提供了 671B 全量模型，以及覆盖 70B、32B、7B 等不同规模的蒸馏模型，还有若干低秩量化版本，可以满足不同推理质量和算力资源的要求。
模型开源，独享更香
应用的热情盘活了大大小小云厂商的算力资源，随着公开的 DeepSeek 服务纷纷瘫痪，连付费客户都大受影响。公有云“掉链子”引发的群体焦虑进一步催生了私有化部署的热潮：云厂商积极打包算力和服务，主打低门槛和弹性；硬件厂商纷纷推出各式“推理一体机”，开箱即用。
自持资源的可及性、可靠性是私有化部署的重要原因，但更长远地看，根本原因还是数据隐私与法规的要求。姑且不说公有云服务商在用户协议中的霸王条款，即使是私有云也会面临数据上传外网的合规限制。
利用大模型审查商业合同、法律文书，对病历、科研数据进行总结，都能明显节省时间，但恰恰都面临隐私和法律风险。对于这类需求，在本地部署 DeepSeek 推理一体机是一个很好的选择，而且，门槛并不高。
基于英特尔® 至强® W 处理器、2~4 块 GPU 卡构建的推理一体机，预算在十万元左右，便可以支持数十人并发使用的需求，满足中小型企业全员上 AI 的需求。
如何构建高性价比算力底座
英特尔® 至强® W 是单路处理器，采用全大核、大缓存的架构，可以提供多达 60 核、112.5MB L3 缓存 (W9-3595X)，睿频加速可达 4.8 GHz，甚至部分后缀为 X 的型号还可以进一步超频。
对于推理一体机，至强® W 的高扩展性得到了充分发挥。它支持 8 通道内存，内存容量可以达到 4 TB；112 条 PCIe 5.0 通道，可以配置 4 到 7 块高性能 GPU 卡，不但可以加载较大参数规模的模型，还可以提供可扩展的吞吐量。
以搭配英特尔® Arc™ A770 16GB 卡为例，单卡已经可以部署 7~14B 蒸馏模型；双卡可以部署 32B 蒸馏模型；4 卡即可使 32B 蒸馏模型的推理输出达到 500~800 Tokens/s 的水平。在中文环境下，每个 Token 相当于 0.75~1.8 个汉字。以 500 Tokens/s、每 Token 对应 1 个汉字计，这就相当于每分钟输出 3 万汉字。这个输出能力足够满足 20 到 50 人的并发请求。
这里以部署 DeepSeek-R1-32B 为目标，是因为这个规模的蒸馏模型已经在多数测试项目中超过了 OpenAI-o1-mini，在实践中也证明可以比较高质量地完成长文本处理、代码生成等任务。以审查合同、会议纪要为代表的严肃工作可以交由部署 32B 大模型的一体机完成，而不再需要担心隐私泄露甚至违法的风险。
如果搭配 24 GB 显存的加速卡，还可以部署 70B 蒸馏模型，吞吐量以千计，部分显存位宽较大的卡可以达到 2000 Tokens/s 以上，完全能够满足百人量级的同时使用需求。70B 模型可以完成长文本生成、创意辅助等高质量的工作。另外，较大的显存容量除了可以部署一个较大规模的模型，也可以实现在一体机内部署多个不同规模、不同特点的中小型模型，以满足不同类型用户的需求。
值得一提的是，借助 KTransformer 为代表的开源大语言模型推理优化框架，基于至强® W 的推理一体机还可以运行“满血版”的 DeepSeek-R1，以支持对推理精度要求最高的任务。这类优化框架可以让 GPU 和 CPU 共同分担计算任务，并将一部分模型参数放置在容量较大的主内存。以使用单条 96GB DDR5 RDIMM 为例，至强® W 的八个内存通道可以实现 768 GB 的内存容量和 307 GB/s 的内存带宽，独立部署 FP8 精度的 DeepSeek-R1 671B 完全没有问题，更不用说 Q4、Q2 量化版本了。
随着 KTransformer 这类优化框架的不断开发，还有机会进一步发挥至强® W 内置的 AMX (Advanced Matrix Extension) 加速器的优势，进一步提升推理吞吐量。至强® W-2400/3400 正式开始引入 AMX，可以每个时钟周期内进行 2048 次并行运算，在神经网络推理、机器学习当中已经展现了不错的实用性。
产品案例
根据并发用户数、模型规模，可以配置不同的 CPU 内核数量和 GPU 显存容量，以满足各种类型用户、不同场景的需求。
- 至强® W5 + 2 × Arc™ A770 方案：可部署 14B 蒸馏模型提供文档识别、智能问答等服务。如果部署 32B 蒸馏模型，可为 20 人以内的部门、小型企业提供较高质量的、不太频繁的文本服务，譬如合同审查等。随着应用需求提升，用户也可进一步升级为四卡配置。
- 至强® W5 + 4 × Arc™ A770 方案：建议部署 32B 蒸馏模型，由于处理能力和显存充裕，推理批次可以大幅提升，速度达 520~780 Token/s，可以满足上百人规模的中小型企业使用，可以用于涉及大量文档检索、归纳整理之类的知识管理型的工作，以及代码辅助等场景。
- 至强® W7 + 4 × A770 方案：增加 CPU 的内核数量，以支持数百人规模企业，并发处理 30~50 个用户请求，适用于医疗、律所等专业文书的分析、生成场景。
- 至强® W9 + 96 GB 显存方案：96 GB 显存可以通过 6 块 Arc™ A770，或 4 块其他 24 GB 显存的加速卡构成。这样的配置支持 70B 参数模型部署，吞吐量可以达到 1500~2400 Tokens、s，可以满足中、大型企业内多个部门高质量、高吞吐、高并发的需求，可以用于知识图谱、长文本生成等场景。
总结
目前多家厂商已推出基于至强® W 处理器 + 四卡的 DeepSeek 一体机。一体机搭配多种蒸馏模型的应用落地，已经获得上下游厂商和用户的共同验证，日臻成熟。
基于 Xeon® W 高效部署满血版 DeepSeek-R1 模型的工作也在不断进行，敬请期待。