京都大学扩展计算设施的并行性能

Cray 安装了基于英特尔® 至强® 处理器 E5 和 E7 家族并配备大型英特尔® 至强融核™ 处理器集群的新型高性能计算机。

下载 PDF 文档

京都大学(Kyoto U)是世界一流的研究与教育机构,除了在日本国内有几个校区外,还在 世界各地设有多处教学分支点。该校在各个领域拥有广泛的研究社区,以超级计算技术 为依托,为世界范围内的多个学科贡献了众多知识成果,其中包括经济学、天气气候学、 遗传学等。“我们为很多研究领域提供支持,”京都大学学术情报媒体中心(Academic Center for Computing and Media Studies, ACCMS)的教授 Hiroshi Nakashima 表 示,“我们的超级计算机面向全日本所有高性能计算研究人员开放,用途非常广泛。”

挑战

Nakashima 领导着 ACCMS 超 级计算操作委员会(Supercomputing Operation Committee)的工作。他所在的部门负责京都大学超级计算机的购置与操作事宜。他谈 到:“作为一名教授,我也在从事各种与超级计算相关的研究工作,主要是在高性能编程 方面。目前,我正在尝试与我们的超级计算机用户合作,共同研究部分课题,比如结合自 动负载均衡技术打造众核感知粒子模拟框架。”

2015 年,京都大学意识到需要更新日渐老化的超级计算综合设施。他们的系统基于英 特尔和其他品牌处理器构建,部分处理器甚至是好几代之前的产品。按照 Nakashima 的说法,他们的新系统需要将双路和四路 x86 处理器“与英特尔® 至强® 处理器(以前称 为 Haswell 或 Broadwell)级别的性能”相结合。他们尤其希望能通过发挥 SIMD 操作 的优势,提升计算设施的并行性能,进而实现更高的价值。学校的用户已经在利用 MPI 和 OpenMP 编程模型提升代码的并行性能。“我们很了解 256 位和 512 位 SIMD 矢量化 计算,”Nakashima 表示,“我们认为,应用程序在利用宽 SIMD 机制方面所取得的进展应 与过去利用 MPI 和 OpenMP 所取得的进展保持一致,这是因为我们可以通过 SIMD 机 制逐步进行完善,而不必断断续续地改变编程操作,比如说使用 CUDA 或 OpenACC。” 因此,他们还为新系统指定了具备英特尔®   至强融核™   处理器级别性能的节点。

他们的采购过程花费了一年多的时间,并授权 Cray 构建新的超级计算机。超级计算机于 2016 年底完成安装,并于 2016 年 10 月 3 日进入部分生产,同年 12 月下旬启动全面 生产。

解决方案

京都大学的新 AACMS 针对各类工作负载设计,涵盖常规计算、 高度并行向量化代码和高内存要求操作。这台新的超级计算机 由三个系统组成,而这三个系统基于英特尔® 至强融核™ 处理器 7250、英特尔® 至强® 处理器 E5-2695 v4 和英特尔® 至强® 处 理器 E7-8880 v3。

新 的超 级 计算机包 含一 个 来自 数 据 直 连 网 络(Da t a D i re c t Networks)的 Lustre 存储集群,具有 16 PB 存储空间和 230 TB 突发缓冲区。根据 Nakashima 的说法,京都大学正在拟定扩展 英特尔® 至强融核™ 处理器的计划,以提供高达 2-3 千万亿次的 计算能力。到 2018 年,他们还会为 Lustre 存储集群增加 8 PB。

ACCMS 在 Laurel 2 和 Cinnamon 2 中使用英特尔® OPA 来优 化带宽和降低延迟。“我们知道 OPA 在价格和性能方面是一个 出色的解决方案,我们对于新系统基准 测试的性能数字非常满 意。”Nakashima 表示。

事 实上,京都大学 的 征 求 建 议书(R F P)中根本 没有指 定 英 特 尔® OPA,而是 规定“必须使用 InfiniBand  EDR,或者任 何同 样高效的技术,” Naka shima 解 释 说,“ 如果 英 特 尔® OPA 在 IMB、HPCC(HPL 和 FFT)及我们自己的五个多节点应用基准测 试中表现良好,我们就认为它是可以接受的。在 Cray 的提案中, 英特尔®  架构的性能数据大多时候都远远超出了我们的期望。”

结果

研究人员期待在基于英特尔® 至强融核™ 处理器的节点中引入先 进的矢量处理功能,并通过新的超级计算机实现性能更高的通用 计算能力。与京都大学以前的顶级系统相比,新系统令应用性能 提升约两倍,为雄心勃勃的研究项目提供了一个强大的平台。

京都大学的许多研究小组将使用两台新的超级计算机及其搭载的 英特尔® OPA 架构。“到目前为止,最常使用 Laurel 2 的 850 个 节点的研究小组是基因组学部门,”Nakashima 表示,“其次是材 料科学的研究人员。其他还包括分子生物学、量子化学和气象学 等。”据 Nakashima 表示,Cinnamon 2 是由 16 个节点组成的 小型集群,搭载英特尔® 至强® 处理器(原代号为 Haswell), 由英特尔® OPA 互连;这个集群也可用于基因组学、等离子体物 理学和工程学的研究。

解决方案摘要

京都大学的新超 级计算机是为了满足研究中涉及的常规代码处 理和高性能矢量工作负载的需求,如天气预测和经济分形模式分 析。新系统由多个子系统组成,其中包括大量搭载了英特尔® 至强 融核™ 处理器的节点,由 Cray 在 2016 年构建和安装。

更多信息

了解更多关于京都大学的新 超 级计算机的信息:http://www.iimc.kyoto-u.ac.jp/en/services/comp/supercomputer

了解更多关于英特尔® Omni-Path 架构的信息:https://www.intel.cn/omnipath

了解更多关于英特尔® 至强融核™ 处理器的信息:https://www.intel.cn/content/www/cn/zh/products/processors/xeon-phi/xeon-phi-processors.html

解决方案组成部分

• Laurel 2—Cray CS400:850 个节点,搭载双路英特尔® 至 强® 处理器 E5-2695 v4,128GB DDR4-2400,英特尔® Omni-Path 架构(英特尔®    OPA 架构)。

• Cinnamon 2— Cray CS400:16 个节点,搭载四路英特尔® 至强® 处理器 E7-8880 v3,3TB DDR4-1800,英特尔® OPA 架构。

• Camphor 2—Cray XC40:1800 个节点,英特尔® 至强融核™ 7250,96GB DDR4-2400,Cray Aries Dragonfly 网络和 230TB 突发缓冲区。

• 集群存储:DDN ExaScaler 16PB(将于 2018 年扩展到 24PB),230TB 突发缓冲区(DDN IME)。