HPC 和人工智能:强强联手

在机器学习和深度学习的增强之下,HPC 能够以更快的速度生成新洞见。

使用 HPC AI 提供更多数据和更深入的分析

  • AI 实施与 HPC 的计算架构密切相关。此外,AI 和 HPC 都受益于基于高性能英特尔® 硬件的类似配置。

  • CERN 的研究人员正在使用由英特尔技术提供支持的卷积神经网络,后者将物理定律集成到 AI 模型中,为现实世界的用例提供更准确的结果。

author-image

作者

人工智能增强型 HPC

HPC 实施所需的架构与 AI 实施具有许多相似的架构。两者都使用高水平的计算和存储、大内存容量和带宽以及高带宽结构,通常通过处理越来越大的海量数据集来实现结果。深度学习非常适合 HPC 解决的涉及非常大的多维数据集的问题。例如,Quantifi 使用英特尔提供支持的 AI 将金融市场的衍生品估值比传统方法提高 700 倍1 为常见的评估工作负载提供近乎实时的结果。

AI 在 HPC 中的承诺是,AI 模型可以增强对数据集的专家分析,从而在相同的精度水平下更快地生成结果。关键的 HPC 用例受益于先进的 AI 功能,包括:

  • 金融服务 (FSI) 分析,例如风险和欺诈检测、物流和制造。
  • 工业产品设计、计算流体动力学 (CFD)、计算机辅助工程 (CAE) 和计算机辅助设计 (CAD)。
  • 科学可视化和模拟,特别是在以下领域,例如高能物理。
  • 模式聚类、生命科学、基因组测序和医学研究。
  • 地球科学和能源领域探索。
  • 天气、气象学和气候科学。
  • 天文学和天文物理学。

工作负载是如何变化的

当前的许多 AI 用例仅限于边缘或数据中心部署,例如严重依赖智能摄像头进行 AI 对象识别的智能交通系统。支持 AI 模型的算法变得更加复杂,为科学发现、创新以及工业和商业应用提供了更大的潜力,但也提出了更高的计算要求。挑战在于如何将 AI 推理扩展到 HPC 水平,或者如何从识别十字路口的交通流量模式到在数小时而不是数周内对基因组进行测序。

幸运的是,HPC 社区在如何应对大规模人工智能挑战方面提供了数十年的经验,例如需要更多的并行性、快速的海量数据集 I/O 以及分布式计算环境的高效导航。诸如此类的 HPC 功能可以帮助加速 AI,实现有用的结果,例如,通过深度学习推理将专家级的启发应用于每秒数以千计的交易、工作负载或模拟。

物理信息的神经网络 (PINN)

AI 增强型 HPC 用例的一个示例是将物理定律集成到推理模型中,以生成更真实的输出。在这些应用中,神经网络必须遵守已知的定律,例如质量,能量和速度守恒,并且神经网络也被称为物理信息的神经网络(PINN)。PINN 可用于增强或取代流体流动分析、分子动力学、翼型和喷气发动机设计以及高能物理等用例的 HPC 建模和仿真。

例如,CERN 研究人员使用英特尔® 至强® 可扩展处理器上的英特尔® 深度学习加速技术来代替蒙特卡洛模拟,用于粒子碰撞。低精度 int8 量化帮助提供比软件模拟快 68,000 倍的处理速度,2 并且精度也略有提高。

HPC 中的 AI 由数据增长驱动

HPC 和 AI 工作负载的主要驱动因素是数据的持续增长以及与 HPC 规模分析保持同步的需求。AI 算法在复杂度方面不断提高,可以处理比前几年大得多的数据集,尤其是在引入深度学习方法之后。基因组测序等学科正在生成数量惊人的数据,麻省理工学院和哈佛大学的博德研究所等机构每天正在创建大约 24 TB 的新数据。

圣地亚哥超级计算机中心 (SDSC) 拥有世界上最大的学术数据中心之一,被公认为是数据使用、管理、存储和保存方面的国际领导者。以 AI 为中心的系统支持科学家开发新方法,以加速训练和推理。案例研究:SDSC 构建以 AI 为中心的 “Voyager” 超级计算机

克服 HPC 采用中的 AI 挑战

在 AI 的 HPC 配置方面,传统上在 CPU 架构中在 AI 和 HPC 要求之间需要进行权衡。AI 繁重的工作负载通常会将内核数量换成速度,而 HPC 工作负载通常更喜欢更高的计算性能、更多的内核数量和更多的核对核带宽。随着代际的持续改善,英特尔提供的解决方案包括英特尔® 至强® 可扩展处理器中的内置加速。

硬件和软件层中的以下关键创新使 AI 解决方案变得更加易于设计和构建:

  • 英特尔® 至强® 可扩展处理器通过内置的 AI 加速提供必要的高层级 AI 性能。英特尔® 处理器提供独有的英特尔® AVX-512 和英特尔® 深度学习加速矢量神经网络指令 (VNNI),可提供优化的 AI 性能,以便在更短的时间内快速获取洞见。
  • 英特尔® oneAPI AI analytics toolkit 中的低精度优化库降低了 HPC 和 AI 平台的编程难度,同时提高性能并保持准确度阈值。
  • 用于机器学习的英特尔® FPGA 支持高度并行化,有助于加快获得 HPC 和 AI 工作负载的结果和洞察力。
  • 使用英特尔专注于深度学习处理器技术的数据中心团队 Habana Labs 开发的 Gaudi 平台,数据科学家和机器学习工程师只需几行代码即可加速训练并构建新模型或迁移现有模型,从而提高工作效率,同时降低运营成本。Habana 加速器专门针对大规模 AI 模型训练和推理量身定制。
  • AI 开发人员正在改进其技术和代码,以更高效地在 HPC 集群上运行。从数据加载到预处理、训练和推理,新的优化正在端到端加速工作负载

复杂性也是 HPC 和 AI 应用摩擦的主要原因。所需的技能集非常特定于领域,企业需要获得受过高性能计算和 AI 培训的人才才能取得成功。英特尔的行业领先地位有助于铺平道路,因为英特尔与 HPC 和 AI 社区密切合作,分享专业知识和理念。

结论:将 AI 智能引入 HPC

AI 正越来越多地通过新技术和方法注入到 HPC 应用程序中,从而加快了 AI 分析的速度和增加了规模,以实现快速发现和洞察。借助这些创新,数据科学家和研究人员可以依靠 AI 来处理更多数据,创建更真实的模拟,并在更短的时间内做出更准确的预测。