高性能计算和人工智能:
融合共荣的未来

人工智能并不像看上去那样遥远。它已经改变了各行各业的面貌,从健康和精准医疗到交通运输再到自动驾驶汽车,无不受其变革性的影响。随着人工智能技术日益成熟并得到广泛运用,我们将会看到更多的新奇应用不断涌现,而且人工智能也将会与现有的工作负载和技术融合在一起。

高性能计算 (HPC) 正在加速这一变革,通过将人工智能的强大功能应用于现有的高性能计算工作流程 (HPC-on-AI),以及极大地扩展人工智能算法的规模以充分利用高性能计算系统的能力 (AI-on-HPC),这些方法都取得了非常可喜的初步成果,表明人工智能和高性能计算的融合有着非常光明的前景。

借助人工智能扩展高性能计算

运行基因组测序或全球气候建模等大型高性能计算应用的数据科学家可通过在现有的高性能计算工作流程中增加深度学习功能,来实现非常可观的成效。深度学习非常适用于某些经常由高性能计算解决的问题,其中包括在非常庞大的数据集内进行模式识别和分类并需要大量计算、存储和网络资源的情况。将深度学习应用于高性能计算应用,这就是 HPC-on-AI。

简单来看,深度学习可识别多维数据集内的模式。适合深度学习的任务通常包括模式分类(例如,图像识别)、模式聚类(例如,通过生命体征监视器识别增大的风险)和异常检测(例如,识别欺诈性的信用卡交易)。这些功能正推动人们在某些最复杂的高性能计算领域获得新的发现。例如,斯克利普斯应用科学研究所的遗传学专家 Ali Torkamani 博士以及英特尔深度学习专家 Kyle H. Ambert 博士和 Sandeep Gupta 最近提出了一种解决方案:在基于英特尔® 至强® 铂金 8180 处理器的系统上,利用深度学习从遗传变异数据中预测疾病。该解决方案有望帮助临床医生识别面临心血管疾病风险的患者,这是向着通过人工智能增强诊断技术和提供更好的患者服务迈出的激动人心的一步。

此外,深度学习模型能够灵活调整以适应新数据,从而应用在难以对环境建模且不断演变的一些高性能计算领域。金融科技领域的公司正在一些高性能计算应用中使用深度学习,这些应用需要对环境中瞬息万变的数据进行评估,但这种环境因为非常复杂,所以之前无法做到在任何给定的时间点进行完整建模。安全威胁检测领域期望应用深度学习技术来帮助系统跟上快速演变的数据,同时仍然能够识别可能的异常——在充满噪音的数据洪流中寻找微弱的信号。

此外,HPC-on-AI 极有潜力创建一些解决方案,将全局数据集与特定于某一个体或设置的那些数据结合起来。例如,深度学习有望为精准医疗的高性能计算流水线带来突破,通过分析个体在遗传、环境和生活方式等方面的变化情况来帮助治疗和预防疾病。

这些例子表明,随着数据集的复杂性、流动速度和易变性不断增长,深度学习将成为数据科学家工具箱中的重要工具。面对这种不断进化的环境,英特尔的高性能计算技术组合(包括英特尔® 至强® 可扩展处理器英特尔® 固态盘英特尔® Omni-Path 架构)将变得更加重要。

借助高性能计算扩展人工智能的规模

通过高性能计算系统,人工智能的规模能进一步扩大,让深度学习的从业者极大受益。无论是在个人计算机、本地服务器还是在高度并行的高性能计算基础设施上工作,深度学习科学家所要处理的任务、语言和环境的组合看起来都是非常相似的。神经网络在何处运行并不重要,重要的是快速精确。在高性能计算系统上运行所带来的区别在于,数据科学家可解决的问题规模得以扩大,用于解决问题的深度学习算法的性能得到提升。

深度学习神经网络固有的并行特征非常适合于高度并行的高性能计算环境,在这些环境中,极高的计算性能、巨大的内存池和优化的节点间通信网络将会极大地扩展深度学习网络识别相关结构和模式的能力。这就是 AI-on-HPC。

由美国能源部科学局、加州大学伯克利分校和英特尔合作开展的工作展示了在高性能计算基础设施上进行深度学习的巨大潜力。工作团队建立了一个 15-PetaFLOP 的深度学习系统,用于解决模式分类科学问题。该系统将单个深度学习模型的训练过程扩展到 Cori 超级计算机上多达 9,600 个基于英特尔® 至强® 融核™ 处理器的节点上。这种巨大的规模使模型可以更高效地从 15TB 的气候数据集中提取气候模式。1该团队的成果证明了在使用大型的复杂数据集时,对深度学习训练加以优化并扩展到众核高性能计算系统上所带来的优势。

除了帮助处理极为复杂的数据之外,使用高性能计算基础设施进行深度学习的第二大好处在于,能够极大地改善训练深度学习算法的响应时间。为了训练出能用于生产环境的深度学习网络解决方案,需要开展一轮又一轮的计算密集型试验。加速深度学习网络的探索、评估和优化可以显著缩短每个模型的迭代时间,并有助于取得更高质量的结果。

两大紧密相连、令人激动的未来趋势

眼下,人工智能变革中最令人惊叹的一点是变化的速度。一些在四年前还显得颇有难度的任务,现在已经司空见惯。近年来,类似语音识别和计算机视觉等功能进步神速,已经从“有点用处”达到接近于(甚至优于)人类的水平。似乎每天都会有关于新颖有趣的各种应用的文章发表。

利用 HPC-on-AI 和 AI-on-HPC,通过将人工智能技术附加到高性能计算工作流程中,并借助强大的高性能计算系统来加速人工智能算法的运行,我们有望进一步加快变革速度。在任何一种情况下,当客户像处理许多其他任务一样,在广为人知、功能多样、性能高效的英特尔® 架构上运行人工智能工作负载时,都能取得优异的成果并缩短收获价值的时间。

目前所看到的成功已经证明了这些融合方式有着非常光明的前景。我们对人工智能和高性能计算融合所具有的巨大潜力倍感兴奋,并将继续加大研发,通过这两者强有力的协同效应促进新的发现和创新。

要详细了解英特尔有关人工智能和高性能计算的技术方案,请访问 ai.intel.com/technology intel.cn/hpc

高性能计算

了解英特尔的高性能计算 (HPC) 处理器、架构、框架和解决方案的产品组合。

了解更多

英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器已针对工作负载进行了优化,以支持混合云基础设施和计算密集程度最高的应用。在基于硬件的安全性得到保证的前提下,您可以快速形成可行的洞察,并驱动动态服务交付。

了解更多

产品和性能信息

1Kurth、Thorsten 等人:Deep learning at 15PF: supervised and semi-supervised classification for scientific data(15PF 深度学习:科学数据的监督和半监督分类),SC ’17 国际高性能计算会议论文集,《Networking, Storage and Analysis》,论文编号 7 https://dl.acm.org/citation.cfm?doid=3126908.3126916