在不同实例大小下，与搭载第二代英特尔 至强可扩展处理器的 M5n 实例相比，M6i 实例每秒执行的推理操作更多
公司为各种业务应用（例如，分析客户和其他用户输入的文本的聊天机器人）使用自然语言机器学习推理工作负载。这类工作对计算资源提出了很高的要求，因此选择高性能云实例非常重要。
的自然语言处理 （NLP） 模型是一种通用的自然语言处理 （NLP） 模型，我们选择测量两种 Amazon Web Services （AWS） EC2 云实例类型的性能。我们测试了两种大小的 M6i 实例与第三代英特尔 至强 可扩展处理器和 M5n 实例与第二代英特尔 至强 可扩展处理器。我们发现，采用第三代英特尔 至强 可扩展处理器的 32 个 vCPU 和 64 个 vCPU M6i 实例的性能均优于 M5n 处理器。根据这些结果，企业可以通过选择 M6i 实例为用户提供更快的体验。
M6i 实例（带 64 v CPU）
为了比较两个 AWS 实例系列的大小推断性能，我们使用了 TensorFlow 框架。如 图 1 所示，搭载第三代英特尔 至强 可扩展处理器的 64 vCPU m6i.16xlarge 实例的吞吐量比搭载第二代英特尔 至强 可扩展处理器的 m5n.16xlarge 实例提高了 64%。
M6i 实例，带 32 v CPU
如 图 2 所示，搭载第三代英特尔® 至强® 可扩展处理器的 32 vCPU m6i.8xlarge 实例的吞吐量比搭载第二代英特尔 至强可扩展处理器的 m5n.8xlarge 实例提高了 40%。
结论
我们测试了两个 AWS 实例系列的 就大自然语言处理推断性能：采用第三代英特尔 至强可扩展处理器的第三代英特尔 至强实例和第二代英特尔 至强可扩展处理器的 M5n 实例。M6i 实例的尺寸有两种不同，但 M5n 实例的性能则高达 64%。为了给客户和其他用户提供更快的体验，在第三代英特尔 至强可扩展处理器的 Amazon M6i 实例上运行您的 NLP 推理工作负载。
了解更多信息
要在搭载第三代英特尔 至强可扩展处理器的 Amazon M6i 实例上开始运行 NLP 推理工作负载，请访问 https://aws.amazon.com/ec2/instance-types/m6i/。
英特尔于 2021 年 11 月 30 日的单个虚拟机测试。所有 VM 配置为 Ubuntu 20.04 LTS，5.11.0-1022-aws， EBS 存储，GCC=8.4.0，Python=3.6.9，tensorflow=2.5.0，Docker=20.10.7，容器= 1.5.5，散装型号，批量大小 1，序列长 384，INT8 精度。实例详细信息：m6i.8xlarge，32vcpus，英特尔® 至强® Platinum 8375C CPU @2.90GHz，128 GB 总 DDR4 内存;m5n.8xlarge，32vcpus，英特尔® 至强® Platinum 8259CL CPU @2.50GHz，128 GB 总 DDR4 内存;m6i.16xlarge，64vcpus，英特尔® 至强® Platinum 8375C CPU @2.90GHz，256 GB 总 DDR4 内存;m5n.16xlarge，64vcpus，英特尔® 至强® Platinum 8259CL CPU （2.50GHz），总 DDR4 内存 256 GB。