通过在 AI Max 机器学习平台中集成英特尔® oneAPI 工具包，我们可以有效地帮助开发者加速机器学习应用的构建、优化与部署进程，降低 AI 技术的开发门槛。成功的客户使用案例包括数坤科技脊柱辅助诊断系统，他们使用超集信息一体机来满足医院对大量使用 AI 技术的 CT 影像设备进行智能、快速、准确复查的需求。一体机包括基于英特尔® 至强® 可扩展处理器的高性能服务器和集成了英特尔® oneAPI 工具包的 AI Max 机器学习平台。AI Max 机器学习平台可在边缘端实现高性能推理能力，帮助用户打造快速、高效、准确的开发环境。”
——廖治国，苏州超集信息科技有限公司副总裁
概述
越来越多的组织在深度学习等机器学习中进行广泛的投资，将传统工作流程转变为自动化、智能化的流程，从而提升工作效率，降低人力资源等关键资源的成本，并从海量数据中获得高价值的洞察。但同时，机器学习的内在复杂性意味着，建立面向机器学习的开发平台有着较高的门槛，而且很容易会遇到计算、存储、网络等资源分配不均，总体拥有成本 (TCO) 过高等问题。
超集信息自主研发了 AI Max 机器学习平台，并在最新的版本中融合了英特尔® oneAPI 工具包以及 OpenVINO™ 工具套件，用户可以直接在 AI Max 中调用英特尔® oneAPI 工具包的镜像并应用。通过这一机器学习平台，组织将能够更充分地挖掘英特尔® 产品的性能潜力，增强跨架构调用硬件资源的能力，大幅降低跨架构开发、应用迁移的复杂性，并实现面向机器学习的精准资源管理和调度、敏捷的数据整合及加速。
挑战：机器学习开发面临资源管理、异构运行等多种挑战
得益于算法的进一步成熟、算力的提高以及数据的持续积累，人工智能 (AI) 技术与应用得到迅猛发展，Gartner 预测，2022 年全球 AI 软件收入总额预计将达到 625 亿美元，相比 2021 年增长 21.3%1。其中，深度学习、机器学习作为 AI 应用的典型代表，成为数字化技术重要的创新趋势。研究报告预测，2021 年中国机器学习产品服务的市场规模达到 275 亿元2。Gartner 2022 年首席信息官和技术高管调研中，48% 的首席信息官表示他们已经部署或计划在未来 12 个月内部署 AI 和机器学习技术3。这为组织参与人工智能技术热潮开辟了令人兴奋的机会。
但如今，机器学习的模型正在日趋复杂化，已经有机器学习模型包括数千亿甚至数万亿参数，这给企业的开发能力与资源调度能力带来了严峻挑战。另一方面，数据量以及模型复杂度的快速增长带来了持续上升的算力需求，大量模型训练任务需要迁移到云或数据中心内的服务器集群中进行训练，这给算力资源的优化与调度带来了较高的要求。
在此背景下，越来越多的组织开始搭建机器学习开发平台，以更加高效地满足机器学习技术创新对于资源调度、任务管理等的需求。但同时，机器学习开发与应用也面临如下挑战：
• 跨架构的机器学习开发：组织的机器学习算法正在日趋复杂化，常常需要将跨标量 (CPU)、矢量 (GPU)、矩阵 (ASIC)、空间 (FPGA) 等多种硬件平台进行迁移，以满足不同场景的应用需求。在此趋势下，单一的硬件架构已经难以满足需求，越来越多的企业需要实现 AI 应用的跨硬件架构开发、部署与运行，以实现更高的敏捷性与灵活性，跨架构的开发与资源调用成为一个棘手问题。
• 集群资源管理与调度：在开发实践中，组织普遍需要并行开展众多机器学习任务，并构建了相应的服务器集群。但是，在机器学习任务中，集群资源的管理、调度与监控非常复杂，可能因为资源分配不合理而导致资源浪费、资源需求冲突、深度学习任务效率降低等问题。而且由于传统方案中，AI 服务计算资源通常较为固定，难以快速响应突发需求。
• AI 性能优化：随着数据量以及模型复杂度的快速增长，机器学习对算力的要求不断提升。但同时，受限于成本、基础设施扩展能力等因素，组织内部的硬件资源不足成为客观的问题，用户希望最大程度上挖掘硬件潜能，对性能进行优化。
解决方案：集成英特尔® oneAPI 工具包的 AI Max 机器学习平台
超集信息自主研发了 AI Max 机器学习平台。该平台基于 Kubernetes 容器调度引擎，能够实现异构资源的高效管理、调度和监控，提供了从模型开发、训练到部署的完整流程和工具，为教育、科研、金融、医疗、能源等各行业用户带来有效助力。
对于 AI Max 的用户而言，其面临的一个突出挑战在于，在跨架构的机器学习开发与应用迁移中，会面临巨大的复杂性，不仅消耗大量的开发时间与成本，而且很可能会由于异构资源调度模式的不同等因素，遇到复杂的性能优化问题，无法充分利用硬件资源。此外，良莠不齐的机器学习开发框架、海量的开源模型以及愈发庞大的模型规模都让深度学习的创新与应用变得非常复杂。
最新的 AI Max 版本融合了英特尔® oneAPI 工具包以及 OpenVINO™ 工具套件，用户可以直接在 AI Max 中调用英特尔® oneAPI 工具包的镜像并应用。用户通过 “首页—任务镜像—下载镜像—AI Max 机器学习镜像” 路径，便可直接获取英特尔® oneAPI AI Analytics 工具包、英特尔® oneAPI Base 工具包及 OpenVINO™ 工具套件镜像下载，镜像会根据英特尔版本迭代定期进行更新，并支持在平台中进行工具使用。
通过在 AI Max 机器学习平台中集成英特尔® oneAPI 工具包，用户将能够降低机器学习任务跨平台开发与迁移的复杂性，提升机器学习模型在异构平台中运行的性能，并充分利用现有的机器学习模型，从而加速机器学习应用的开发。
英特尔® oneAPI 工具包是基于新一代标准的英特尔® 软件开发工具，用于跨各种架构构建和部署以数据为中心的高性能应用程序。它能够通过充分利用一流的硬件特性加速计算进程，并全面兼容现有的编程模型和代码库，可确保开发者已经编写的应用能够在 oneAPI 上无缝运行。此外，开发者只需一个代码库，便可以将应用轻松迁移到新系统和加速器上，大幅缩短了迁移时间，减轻了迁移工作量。
通过英特尔® oneAPI 工具包，开发者能够使用一种通用、开放且基于行业标准的编程模型访问英特尔® CPU/GPU/FPGA。这不仅能够释放底层硬件的性能潜力，同时能降低软件开发和维护成本，并且在部署加速计算方面，英特尔® oneAPI 工具包与专用的、受限于特定厂商的方案相比风险更低。
英特尔® oneAPI 工具包充分利用了先进的硬件性能和指令，如用于 CPU 的英特尔® 高级矢量扩展 512（英特尔® AVX-512）和英特尔® 深度学习加速技术（英特尔® DL Boost），以及 XPU 独有的功能。英特尔® oneAPI 工具包基于经受过长久考验的英特尔开发者工具，为开发者提供熟悉的编程语言和标准，同时与现有代码保持完全的连续性。
英特尔® oneAPI 工具包包括英特尔® oneAPI Base 工具包、英特尔® oneAPI AI Analytics 工具包及 OpenVINO™ 工具套件等不同工具：
• 英特尔® oneAPI Base 工具包
该工具包是 oneAPI 其他产品的基础，包含了 ICC 编译器、DPCPP、oneMKL 等众多高性能库和 VTune 等性能调试工具。这一工具包使开发人员可以跨 CPU、GPU 和 FPGA 构建、测试和部署以性能为中心、以数据为中心的应用程序。
• 英特尔® oneAPI AI Analytics 工具包
为数据科学家、人工智能开发人员和研究人员提供熟悉的 Python 工具和框架，以加速英特尔® 架构上的端到端数据科学和分析管道。这些组件均使用 oneAPI 库构建，用于低级计算优化。该工具包通过机器学习最大限度地提高了预处理的性能，并为高效的模型开发提供了互操作性。它能够在英特尔® XPU 上提供高性能的深度学习训练，并将快速推理集成到 AI 开发工作流程中。通过此工具包，用户可以使用面向 TensorFlow 和 PyTorch 的英特尔® 优化的深度学习框架、预训练模型和低精度工具，以及针对英特尔优化的计算密集型 Python 包、Modin、scikit-learn 和 XGBoost ，实现数据预处理和机器学习工作流的直接加速。
如有意使用英特尔® oneAPI AI Analytics 工具包提升 AI 工作负载的端到端性能，请单击此处下载4。
• 英特尔® OpenVINO™ 工具套件
英特尔® OpenVINO™ 工具套件是用于快速开发应用程序和解决方案以解决各种任务（包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等）的综合工具套件。该工具套件基于英特尔® oneAPI Base 工具包中的 oneDNN 进行开发，支持最新一代的人工神经网络，包括卷积神经网络 (CNN)、递归网络和基于注意力的网络，可跨英特尔® 硬件扩展计算机视觉和非视觉工作负载，从而大幅提高性能。它通过从边缘到云部署的高性能、人工智能和深度学习推理来为应用程序加速。
英特尔® OpenVINO™ 工具套件能够通过针对复杂网络的模型结构压缩技术、针对多任务场景的跨平台异构加速技术、基于 x86 内核指令集的 CNN 加速引擎、面向低比特混合精度的量化与模型重训练策略等方式，实现人工智能的性能加速。
收益：英特尔® oneAPI 工具包的商业授权提供英特尔优先支持
对于希望使用英特尔软件工具进行软件应用程序开发的公司或开发人员，英特尔为购买 oneAPI Base 工具包和 oneAPI HPC 工具包商业许可的客户提供优先支持。通过购买工具包，企业将能够获得诸多权益，包括：
• 与英特尔支持工程师进行直接的互动；
• 快速获得技术问题和其他产品需求响应；
• 下载早期版本套件和单个软件产品，并获得相应支持；
• 针对缺陷和功能请求获得优先支持。
有关商业许可权益的更多信息，请单击此处5。
收益：帮助组织加速跨架构的机器学习开发与应用
通过集成了英特尔® oneAPI 工具包的 AI Max 机器学习平台，用户能够显著简化并加速机器学习应用的构建、优化与部署进程，降低构建门槛，提升在英特尔架构上的 AI 推理性能。具体而言，该方案能够带来如下收益：
- 便于用户跨架构调用硬件资源，大幅降低跨架构开发、应用迁移的复杂性；
- 在英特尔平台上实现高度的性能优化，有助于尽可能地挖掘硬件潜力，降低总体拥有成本(TCO)；
- 能够在统一的平台中高效管理各类资源，实现资源充分利用；
- 为深度学习应用提供了精准的资源管理和调度、敏捷的数据整合及加速。
实践证明，采用英特尔® oneAPI 工具包能够显著提升深度学习、机器学习等应用的性能。例如，通过使用面向英特尔® 架构优化的 TensorFlow 取代原有的 TensorFlow 版本，吞吐率实现了大幅提升6。
resnet50 infer fp32
图 4. 英特尔® oneAPI 工具包显著提升性能6。单位：囤吐率（图片/秒）
目前，该方案在多个行业领域已经有大量的落地实践。例如，在数坤科技的脊柱辅助诊断系统开发中，超集信息结合数坤在实际业务中的问题，推荐其使用超集信息深度学习一体机的解决方案，以满足医院利用 AI 技术，对大量 CT 影像设备进行智能、快速、精准的审阅的需求。
该软硬件一体化集成的超集信息深度学习一体机包含高性能服务器和 AI Max 机器学习平台，并且在 AI Max 机器学习平台融合了英特尔® oneAPI Base 工具包、英特尔® oneAPI AI Analytics 工具包及 OpenVINO™ 工具套件，可以实现边缘端高性能推理能力，帮助用户打造快速、高效、准确的开发环境，同时借助高性能的英特尔® 至强® 可扩展处理器，不仅可以提升 AI 推理准确性，而且可以控制总体拥有成本，降低用户的大算力需求，实现降本增效。
超集信息 2U 高性能服务器通过搭载集成 OpenVINO™ 工具套件的 AI Max，可将训练好的模型进行精度和模型转换，同时利用推理引擎，通过英特尔® 至强® 可扩展处理器 6242R 进行脊柱分割和分段推理，打造边缘端的脊柱辅助诊断系统。
为了验证该方案的性能与成本表现，超集信息针对基于英特尔® 至强® 可扩展处理器 6242R 的方案与 GPU 方案进行了测试，测试配置如表 1 所示。
表 1. 测试配置
性能测试数据如图 5 所示，在脊柱分割和自动分段算法中，使用 2 颗英特尔® 至强® 金牌 6242R 处理器进行推理，性能和 GPU 方案相当，能够完成同样质量的推理计算，达到临床可用的水平，推理准确性和推理耗时均在同一水平，且总体拥有成本 (TCO) 更低7。
以 GPU 方案为基准数据
图 5. 两种方案性能与成本对比7
展望：优化机器学习开发生态
未来，人工智能、机器学习等用例和工作负载将继续在视觉、语音、推荐系统等领域中持续增长和多样化，越来越多的组织将通过搭建机器学习平台等方式，更灵活地调用各种异构化资源，推动人工智能应用的开发，提升在数字化创新时代的竞争力。
英特尔正在与超集信息等合作伙伴一起，致力于为人工智能开发和部署提供一套非同一般的生态系统。该系统结合了各种针对人工智能优化的硬件产品组合，尽可能无缝地让每一位开发人员、数据科学家、研究人员和数据工程师加快从边缘到云的 AI 之旅。
同时，英特尔还将与超集信息探索更多英特尔先进产品与技术在 AI Max 机器学习平台中的创新运用和优化，如增加对于下一代 AI Max 机器学习平台性功能的支持，拓展英特尔® oneAPI 工具包在平台中的应用场景等，协助更多产业领域的组织与开发者轻松地推动机器学习业务的创新，用人工智能赋能业务创新。
关于超集信息
超集信息传承 AMAX 集团 43 年 IT 行业整体解决方案底蕴，诠释对 HPC 与 AI 计算的深厚理解，注入二十余年深耕行业的专注情怀，聚合业界菁英人才、引入国外高新科技，已成为数据中心、高性能计算、人工智能以及 OEM 解决方案值得信赖的优秀企业。公司产销研一体，在苏州设立有超过 1 万平米、年产量超 12 万台的生产基地，多个专属产品研发空间，多条全功能生产线，实现高性能计算产品从研发到销售的快速迭代，灵活满足不同规模客户的定制化生产需求。
超集信息已经得到了英特尔® oneAPI 技术合作伙伴的首批认证，其中有两名超集信息工程师凭借优异技术实力，完成了 oneAPI 培训，成为 oneAPI 认证讲师。
关于英特尔
英特尔（NASDAQ: INTC）作为行业引领者，创造改变世界的技术，推动全球进步并让生活丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备，我们释放数据潜能，助力商业和社会变得更美好。如需了解英特尔创新的更多信息，请访问英特尔中国新闻中心 newsroom.intel.cn 以及官方网站 intel.cn。