利用人工智能盈利:
如何为“大规模推理”做好准备

到 2020 年,企业内部训练深度学习模型进行推理的比例将从现在的 1:1 迅速转变为 1:51。英特尔将这一即将到来的转变称为“大规模推理”,它标志着深度学习日趋成熟。

为什么?因为训练侧重于将数据馈送和输入到模型中,而推理则侧重于应用如何运行;借助推理,企业可以利用人工智能盈利,通过将经过训练的模型应用于新数据集,推出新的应用或服务。

基于这一考虑,企业有必要立即开始选择适合其人工智能应用的硬件和软件基础设施,从而为大规模推理做好准备。

基础设施注意事项

人工智能是一个复杂的组合,涉及让原始数据准备就绪、创建并微调模型,以及在现实世界中大规模部署解决方案。因此,人工智能必须不断完善。

当前,大多数人工智能在数据中心及云中运行。随着数十亿设备连接到互联网以及我们对于实时智能需求的不断增长,越来越多的人工智能推理也将转移到网络的边缘,以避免需要将数据传输到云。

这意味着,为人工智能构建基础设施需要采用新方法,包括创建能够池化大量按需计算、存储和连接资源的弹性数据中心。但是,内存、电源和数据移动都会产生瓶颈,从而降低利用率,提高成本。此时,英特尔可以提供帮助。

英特尔的硬件和存储创新

新一代英特尔® 至强® 可扩展处理器专门进行了增强,可在运行现有数据中心和云应用的同时,运行高性能人工智能应用,与 2017 年 7 月处理器首次推出时相比,推理性能提升 277 倍之多2。随着产品的更新换代,英特尔不仅与 TensorFlow* 和 MXNet* 等热门框架合作,在代内优化深度学习性能,还致力于增强英特尔® 深度学习加速,采用一套名为矢量神经网络指令 (VNNI) 的新嵌入式加速器,能够加速卷积神经网络 (CNN) 和深度神经网络 (DNN) 的密集计算特性。这一新加速器可在一个指令中完成以前需要三个指令才能完成的工作。

英特尔® 傲腾™ 数据中心级持久内存的支持已内置到新一代英特尔® 至强® 可扩展处理器中,可使更多内存更靠近 CPU,从而在重启或系统维护期间,保持数据的持续性。得益于较低时延,企业可以在内存中激活更大的工作数据集,这表示可以从显著扩大的数据集中提取更多价值,提高成本效率。

英特尔® 傲腾™ 固态盘允许数据中心部署更大、更加经济实惠的数据集,加速应用并利用通过处理大型内存池获得的企业级洞察,从而帮助企业突破存储瓶颈。这表示英特尔® 傲腾™ 技术可为深度学习的训练和推理增加价值。在训练阶段,大型数据集意味着人工智能解决方案可以变得更加智能、更加快速。在推理阶段,通过大型数据集,可以扩大推理内容的范围。

通过英特尔将人工智能带到边缘

英特尔还提供硬件和软件工具,帮助企业将人工智能扩展到网络边缘设备、本地服务器和网关、智能互联端点的边缘。例如,通过英特尔® Movidius™ 视觉处理单元,可以直接在相机和无人机等低功耗设备上进行深度神经网络 (DNN) 推理,通过 OpenVINO™ 软件工具套件,可以在从设备到云的多个英特尔® 架构上轻松部署计算机视觉应用。

人工智能对技术和社会的影响仍处于起步阶段,但我们知道,企业能够通过推理获得实际业务价值。现在就部署好基础设施的企业,最有可能从大规模推理受益。

要深入了解英特尔如何帮助您迎接大规模推理,以及开始人工智能就绪之路的客户案例,请下载我们的电子指南:探索从人工智能理论到实际业务价值之路

英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器已针对工作负载进行了优化,以支持混合云基础设施和计算密集程度最高的应用。在基于硬件的安全性得到保证的前提下,您可以快速形成可行的洞察,并驱动动态服务交付。

了解更多

数据中心存储解决方案

随着数据的爆炸式增长,存储的现代化对 IT 转型至关重要。技术进步使数据的存储、访问和传输更有效率。

了解更多

为未来做好充分准备

从数据中心的云基础设施和位于边缘的智能物联网设备,到为实现 5G 就绪的人工智能技术和网络现代化,无论是企业还是整个垂直行业,各个方面都能感受到技术所带来的强大的革命性影响。

了解更多

产品和性能信息

2利用 FP32 Batch Size Caffe* GoogLeNet* v1 128 AlexNet* 256 进行推理。推理吞吐量的配置:平台:双路英特尔® 至强® 铂金 8180 CPU,2.50 GHz/28 核;超线程技术:启用;睿频:启用,总内存 376.28 GB(12 插槽/32 GB/2666 MHz),四个框架实例,CentOS* Linux*-7.3.1611-Core,固态盘 sda RS3WC080 HDD 744.1 GB,sdb RS3WC080 HDD 1.5 TB,sdc RS3WC080 HDD 5.5 TB,深度学习框架 Caffe* 版本:a3d5b022fe026e9092fc7abc7654b1162ab9940d;拓扑:GoogLeNet* v1 BIOS*:SE5C620.86B.00.01.0004.071220170215 MKLDNN:版本:464c268e544bae26f9b85a2acb9122c766a4c396;NoDataLayer。测量结果:1449 张图像/秒;对比平台配置:双路英特尔® 至强® CPU E5-2699 v3(2.30 GHz, 18 核),启用超线程技术,禁用睿频,通过 intel_pstate 驱动程序将扩展调节器设定为“performance”,64 GB DDR4-2133 ECC RAM。BIOS:SE5C610.86B.01.01.0024.021320181901,CentOS Linux-7.5.1804 (Core) 内核 3.10.0-862.3.2.el7.x86_64,SSD sdb INTEL SSDSC2BW24 SSD 223.6 GB。框架:BVLC-Caffe:github.com/BVLC/caffe,推理和训练能力的测量基于“Caffe time”命令。对于“ConvNet”拓扑,使用虚拟数据集。对于其他拓扑,数据在本地存储,并且在训练之前在内存中缓存。BVLC Caffe (github.com/BVLC/caffe),修订版 2a1c552b66f026c7508d390b526f2495ed3be594“性能测试结果基于截至 2018 年 6 月 7 日(英特尔® 至强® 铂金 8180 处理器)和 2018 年 6 月 15 日(双路英特尔® 至强® CPU E5 2699)的测试,可能未包含所有公开发布的安全更新。请参阅配置披露信息了解详情。没有任何产品或组件是绝对安全的。”