HPC 存储和内存

防止数据访问延迟成为关键的性能瓶颈。了解为满足当今数据密集型 HPC 工作负载的带宽和吞吐量需求而优化的高级持久内存和 HPC 存储解决方案。

HPC 存储和内存概述:

  • 为 HDD 和块 I/O 设计的传统存储堆栈不适合当今的数据密集型 HPC 工作负载,包括 AI 和模拟。

  • HPC 存储需求的发展推动了对减少延迟和 HPC 存储解决方案的需求,这些解决方案针对非易失性内存 (NVM) 技术、HPC 软件生态系统和所有 HPC 架构组件进行了全面优化。

  • 英特尔® HPC 存储和内存解决方案(包括英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态硬盘 (SSD) 和英特尔® QLC 3D NAND 固态硬盘)共同消除数据和计算之间的障碍。

author-image

签署人:

为了满足甚至超越当今最苛刻的性能基准测试,HPC 系统需要整合构建块的平衡的产品服务。由于最近数据集大小和 HPC 应用程序需要执行的读/写操作数量呈指数增加,因此限制系统整体性能的通常是存储和内存性能,而不是处理器速度。

当今最先进的 HPC 存储和内存技术作为从热层的 DRAM 扩展到冷层的廉价长期存储介质的连续体的一部分而存在。系统架构师必须确定最能满足其个人 HPC 工作负载性能需求的产品和功能。这些在传统的 NVM 和存储解决方案中将越来越找不到。

HPC 存储和内存挑战

随着现实世界的计算问题需要收集、存储、访问和处理大量且不断增长的数据,HPC 的边界正在不断扩大。这些数据集的庞大规模对内存和存储带来了挑战:简单地说,DRAM 的容量太小,硬盘驱动器太慢。

在依赖传统内存和存储解决方案时,HPC 系统架构师不得不在存储容量、性能和成本之间做出艰难的权衡。弥合 CPU 附近的本地化热数据与各种 HPC 工作负载的更大非易失性存储容量之间的差距极具挑战性。特别是,两个明显的差距依然存在:

  • 在成本高、容量低的 DRAM 和基于 NAND 的 SSD 之间,后者提供了更实惠的容量,但会带来延迟问题。
  • 在 NAND SSD 和 HDD 之间,后者可以以低成本提供海量存储,但对电力、冷却和物理空间的要求很高,这带来了可靠性挑战,并带来了更大的延迟。

配置要求:延迟减少和存储容量增加

对于许多 HPC 工作负载,将数据传输到处理器的速率是现实世界的主要性能瓶颈。HPC 解决方案架构师试图通过使用本地缓存和部署越来越多的 DRAM 池来使更多数据更靠近 CPU 来克服此限制。通过 DRAM 可快速访其内容的,但价格昂贵,受大小限制的影响,使其无法与大型内存数据库一起使用,并且具有易失性。

易失性内存解决方案不适合当今 HPC 系统所面临的极致性能要求。每当发生系统崩溃时,数据丢失的后果可能是灾难性的,而且长时间的重启会降低工作效率。

然而,在 NAND SSD 或 HDD 等非易失性介质上存储大量数据会带来更显着的性能挑战。专为传统 HDD 介质和 POSIX 输入/输出 (I/O) 功能设计的存储系统根本无法跟上分析和模拟工作负载生成的复杂随机读写模式的步伐,也不足以满足 AI 工作负载的读取密集型需求。

事实上,无论是百万兆级系统还是小型系统,每个计算节点的 I/O 需求正在全面增长,随着所有工作负载变得越来越复杂,对 HPC 存储解决方案的需求也随之增加。

为工作负载选择最佳的 HPC 存储和内存解决方案

传统的 HPC 集群
对于流量动力学预测、气候建模和金融预测等高性能模拟和建模应用,计算通常分布在配置为单个 HPC 集群的多台机器上。需要更快的 HPC 存储和内存来实现更细粒度的建模、更快地生成结果并提高工作效率。

人工智能 (AI) 系统
AI 工作负载在 HPC 应用程序中的应用越来越广泛。与传统 HPC 工作负载相比,这些工作负载需要更多的读取操作,并且与设备生产企业集群或其他实时流数据服务交互的工作负载需要更高的持续服务质量 (QoS) 以避免关键数据丢失。写入强度也会增加,AI 的获取阶段也是如此。这些系统需要低延迟、高消息速率通信,最好完全绕过操作系统,以确保机器学习和推理算法以必要的速度和准确性运行。

高性能数据分析 (HPDA)
即使数据量呈指数增长,也需要快速执行分析。HPDA 工作负载不仅比典型的“大数据”工作负载具有更高的 I/O 需求,而且它们需要更大的计算集群和更高效的网络。HPDA 工作负载对 HPC 内存和存储的需求也相应增加。

超级计算机和百万兆级系统
现代 HPC 存储和内存解决方案的可扩展性和成本优势对于超级计算集群和百万兆级系统尤为重要。随着这些 HPC 解决方案在企业和学术界得到越来越广泛的使用,成本越来越成为一个因素。然而,这些解决方案继续突破已知计算能力的界限仍然至关重要,而实现这一目标的唯一方法是使用性能与处理器、结构和其他 HPC 组件的进步保持一致的 HPC 内存和存储解决方案。

HPC 存储和内存产品

凭借其全面的 HPC 存储和内存解决方案产品组合,以及分布式异步对象存储 (DAOS)(英特尔® 百万兆级软件堆栈的基础),英特尔正在彻底改变 HPC 存储架构。这些技术正在缩小大型数据集的内存数据和存储容量之间的差距,以支持需要世界级计算性能的转型项目。

英特尔® 傲腾 持久内存
英特尔®傲腾持久内存是一种新型 HPC 内存解决方案,可对当今最大的数据集进行近乎实时的分析。英特尔® 傲腾 提供大容量、高性能的持久内存,这些内存可以与 DRAM 驻留在相同的总线/通道上,并在存储易失性数据时充当 DRAM。英特尔®傲腾还可以在不通电的情况下以持久模式运行,并且可以以更低的成本/GB提供更大的存储容量。这使得 HPC 解决方案架构师可以利用 DRAM 和 SSD 之间的大型持久内存层——一种既快速又实惠的内存层。

英特尔® 傲腾 固态硬盘 (SSD)
英特尔® 傲腾 固态硬盘 (SSD) 在内存和 3D NAND 固态硬盘之间提供了一种全新的数据存储层。英特尔® 傲腾 DC SSD 提供高随机读/写性能和一致的低延迟,是加速缓存的理想选择。英特尔® 傲腾 技术还提供 HPC 工作负载实现突破性性能所需的服务质量和耐用性。

英特尔® QLC 3D NAND 固态硬盘
英特尔® QLC 3D NAND SSD 技术通过提供具有成本效益、高密度的存储来改变当今的存储经济性,从而提供性能、容量和价值的可靠组合。英特尔® QLC 3D NAND SSD 基于成熟的垂直浮栅技术,但具有更高的面密度和独特的支持电路架构,旨在为具有大量写入组合或广泛缓存的 HPC 工作负载提供最佳性能,尤其是在与英特尔®傲腾技术合作时。

分布式异步对象存储 (DAOS)
专为减少 HPC 工作负载的延迟而设计的分布式异步对象存储 (DAOS)是一个开源软件生态系统,针对英特尔®傲腾持久内存和英特尔®傲腾 DC 固态硬盘以及其他英特尔® HPC 解决方案和产品进行了全面优化。构建 DAOS 旨在充分利用 NVM 技术的优势,为 HPC 应用程序提供高带宽、低延迟和每秒高输入/输出操作 (IOPS) 存储容器。

面向高性能计算的英特尔® 精选解决方案
确保所有 HPC 集群组件都经过验证,以进行互操作并满足特定工作负载的性能要求,这一点极具挑战性。面向 HPC 的英特尔® 精选解决方案为平衡系统提供计算、结构、内存、存储和软件的正确组合,并提供简单且可快速部署的 HPC 基础架构,从而加快实现分析集群或特定 HPC 应用程序的见解和突破所需的时间。