“你想要的我都有！” 玩转大模型，一个平台就够了
充分利用至强® 可扩展处理器不断提升的内存带宽与速度及内置英特尔® AMX AI 加速器等优势，并采用 xFT 结合系统、算法和多节点并行等优化策略，显著提升千帆大模型平台的推理性能：与使用第三代产品相比，使用第四代至强® 可扩展处理器可将 Llama-2-7b 的 Token 吞吐提升达 60%，首 Token 时延降低 50% 以上；而升级到第五代至强® 可扩展处理器后，吞吐进一步提升达 45%，时延进一步降低约 50%。
充分利用至强® 可扩展处理器不断提升的内存带宽与速度及内置英特尔® AMX AI 加速器等优势，并采用 xFT 结合系统、算法和多节点并行等优化策略，显著提升千帆大模型平台的推理性能：与使用第三代产品相比，使用第四代至强® 可扩展处理器可将 Llama-2-7b 的 Token 吞吐提升达 60%，首 Token 时延降低 50% 以上；而升级到第五代至强® 可扩展处理器后，吞吐进一步提升达 45%，时延进一步降低约 50%。
