很抱歉,此 PDF 仅供下载

案例研究 英特尔®以太网万兆位服务器适配器 单根(Single Root)I/O虚拟化 美国航空航天管理局(NASA)

NASA的灵活云结构: 将集群应用程序转移到云 NASA气候模拟中心经过研究发 现,相比其当前专为众多大规 模建模应用程序构建的、基于 InfiniBand*的集群,采用万兆位 以太网来支持节点间通信和管理 流量的开放式云架构是一款可行 的替代方案。该机构希望充分利 用云计算和基于以太网的融合网 络的可扩展性与灵活性优势。 NASA气候模拟中心的网络架构师最近研究了在云基础设施上运行建模 和模拟应用程序的可行性,以便为其专用的计算集群 Discover寻找一种 替代方案。本着有效利用云基础设施固有的出色优势(如灵活性和可扩 展性等)的宗旨,他们希望确定开放式云架构能否满足应用程序苛刻的 吞吐率和延迟要求。具体而言,他们需要确保与虚拟化相关的开销不会 影响到性能。 在转向云的过程中,该团队希望在万兆位以太网之上整合环境的主干网 和管理设施。单一网络结构预计将能帮助优化整个解决方案的灵活性和 成本效益。 传统的集群计算架构 NASA气候模拟中心对气候变化及相关现象的研究需要进行大量的计算机建模,以便进 行飓风预测、历史气象模式分析,以及为政府气候政策提供技术支持等工作。其名为 Discover的集群承担这项工作已有多年时间,它采用一套集成的超级计算、可视化和数 的计算能力: 据管理技术来提供大约 400 Teraflops(每秒万亿次浮点运算) • 计算机资源:30,000颗传统英特尔® 至强®处理器内核和 64个 GPU •节点间主干网:DDR和 QDR InfiniBand* •管理网络:千兆位和万兆位以太网(GbE和 10GbE) •数据存储:约 4 PB基于 RAID的并行文件系统(GPFS),加上大约 20 PB的磁带存档 Discover完全基于非虚拟化的计算机,因此增加计算容量就需要添加额外的物理服务器。 云计算将能够帮助降低过去进行这些变更所导致的成本和复杂性。同时,云架构还具有 出色的可扩展性,可支持更灵活地作业安排,并避免在开展长时间作业过程中可能出现 的运算瓶颈问题。 NASA的灵活云结构:将集群应用程序转移到云 并比较了不同类型的物理和虚拟服务器之 吞吐率和延迟。具体而言,通过比较多个 Nebula云:针对现有集群方式的建议 补充 间的系统吞吐率和延迟: 虚拟化场景,测试可以揭示出这些虚拟化 技术在实现性能目标方面所发挥的作用。 NASA的 Nebula是一种基于云的基础设施 •裸机。非虚拟化服务器之间的数据传输。 即服务(IaaS)的环境,被设想为一个用 •仅基于软件的虚拟化。虚拟机(VM)之 结果:单根 I/O虚拟化是将集群应用 于提供计算容量的替代方案,而不必花费 间的数据传输。 程序转移到云的关键要求 成本建造更多数据中心。目前 NASA拥有 表 2显示了基于 Nuttcp性能指标评测的测 两个 Nebula 环境,均采用模块化的货运 •虚拟I/O。采用基于操作系统的半虚拟化 试结果集合。Nuttcp与更加知名的 Netperf 集装箱方式构建。一个部署在马里兰州的 的虚拟机之间的数据传输。 性能指标评测类似,致力于测量原始网 戈达太空飞行中心,一个部署在加利福尼 )I/O虚拟化(SR-IOV)。 • 单根(SingleRoot 络带宽。在表中,单个试验的数据由最上 亚州的艾姆斯研究中心。 采用单根I/O虚拟化的虚拟机之间的数据 一行到最下一行排列,每个测试场景的吞 传输。 Nebula 基于 OpenStack* 开源软件项目。 吐率测量值按从低到高的顺序排列。在测 OpenStack得到了 100多家公司和 1,000 测试系统为戴尔 PowerEdge* R710 服务 试从一台裸机服务器到另一台裸机服务器 多名开发人员的支持,设计用于支持大范 器,其配置如表 1中所示。 (最左列)的数据传输时,最高吞吐率非 围可扩展的云计算基础设施,以帮助企业 万兆位以太网端口的线速。 常接近 如前所述,此测试方法的目的是确定使用 1 构建私有云和公有云。英特尔积极参与了 万兆位以太网的 Nebula云基础设施是否能 表 2的第二列显示了仅基于软件的虚拟化 该项目,支持 OpenStack充分利用英特尔® 实现与基于 InfiniBand的 Discover相同的 场景中吞吐率的巨大落差,下跌到仅占全 平台功能。 有关 Nebula作为 Discover替代方案可行 表 1.测试系统配置。 性的关键问题是:它是否可以达到同等的 裸机 虚拟机 队必须确定与“裸 性能。具体而言,该团 处理器 两颗英特尔® 至强®处理器 E5520 @ 2.27 GHz(四核) 主内存 48 GB 16 GB 机”形态的集群相比,Nebula所基于的虚 操作系统 Ubuntu* Linux* 11.04(内核为 2.6.38-10.server) 拟化环境是否会产生开销或其他因素,进 虚拟机管理程序 无 无 而形成不可接受的限制。 针对将应用程序转移到云的测试方法 为满足节点到节点通信对于速度和延迟的 严苛要求,NASA性能工程师与英特尔通 力合作,将虚拟化技术的潜力发挥到了极 致。通过共同努力,该团队确立了一套测 试方法,以比较两个环境在不同工作负载 下的表现,其中包括 Nuttcp网络性能测 2,俄亥俄州立大学 MPI性能基准 量工具 3,以及 LINPACK 版英特尔®数学核心 测试 4。通过采用这些 函数库(英特尔® MKL) 性能基准测试工具进行分析,该团队测量 表 2. Nuttcp测试结果。该结果证明单根 I/O虚拟化可帮助实现接近线速的虚拟化吞吐率,类似于 裸机服务器的成绩。 裸机对裸机 4418.8401 Mbps 8028.6459 Mbps 9341.4362 Mbps 9354.0999 Mbps 9392.7072 Mbps 8 Mbps 9414.731 9414.8207 Mbps 9414.9368 Mbps 9415.1618 Mbps 9415.2675 Mbps 虚拟机对虚拟机 虚拟机对虚拟机 虚拟机对虚拟机 (软件虚拟化) (虚拟 I/O) (采用单根 I/O虚拟化) 137.3301 Mbps 5678.0625 Mbps 8714.4063 Mbps 138.5963 Mbps 5692.8146 Mbps 8958.5032 Mbps 141.8702 Mbps 5746.2926 Mbps 9101.7356 Mbps 145.6024 Mbps 5864.0557 Mbps 9151.5769 Mbps 145.7500 Mbps 5955.8176 Mbps 9193.1103 Mbps 146.1043 Mbps 5973.2256 Mbps 9228.5370 Mbps 146.1092 Mbps 6223.4034 Mbps 9251.8453 Mbps 146.2758 Mbps 6309.8478 Mbps 9313.8894 Mbps 146.3042 Mbps 6311.3896 Mbps 9348.2984 Mbps 146.4449 Mbps 6316.7924 Mbps 9408.0323 Mbps 2 NASA的灵活云结构:将集群应用程序转移到云 线速的几个百分比。显然,这种仅基于软 些情况下,采用单根 I/O 虚拟化所获得的 中所示)。虽然单根 I/O虚拟化实施的性 件的虚拟化配置不足以支持 NASA气候模 虚拟化性能可媲美非虚拟化的性能。 能相对高于非单根 I/O虚拟化场景,但其 裸机方案(虽然 拟中心的高性能计算需求。另一方面,第 性能在某种程度上仍低于 最后,测试团队考虑了通过 LINPACK版英 与其处于相同的档次)。这一结果表明, 三列中的数字显示了在硬件加速帮助下的 特尔 MKL获得的吞吐率测试结果(如图 2 I/O 虚拟化对吞吐率有相当大的提升,但 此测试场景中得到的最高吞吐率低于线速 MPI 的 65%。 表 2最右列显示了采用单根 I/O虚拟经时虚 1000 拟化环境中吞吐率的巨大提升。事实上, 900 此列中的数字接近裸机方案中的数字,表 800 明恰当配置的虚拟化网络可以实现与非虚 700 拟化网络相差无几的吞吐率。 MB/ 600 I/O I/O 500 I/O 为了扩展 Nuttcp 测试结果,测试团队用 400 不同的信息量在其他两个性能基准测试上 300 进行了试验。图 1显示了俄亥俄州立大学 200 MPI性能基准测试的吞吐率(左图)和延 100 迟(右图)结果。令人惊讶的是,采用单 根 I/O虚拟化的测试配置的性能实际上高 0 1 10 100 1,000 10,000 100,000 1,000,000 10,000,000 于裸机配置。测试团队认为这种性能差异 是由于 Linux* 内核的效率不佳问题所导 致,而后者通过单根 I/O虚拟化下的直接 。在各种情况下,这一 赋值功能得到解决 12000 测试结果均与之前的发现相吻合,即在有 I/O I/O 10000 I/O 8000 MB/ 单根 I/O虚拟化(SR-IOV)定义 6000 在英特尔®以太网服务器适配器的支持 下,单根 I/O虚拟化为设备在多个虚拟 4000 机(VM)间同时共享其能力提供了一 种标准机制。单根 I/O虚拟化允许将 2000 PCI功能划分成多个虚拟功能(VF), 用于在虚拟或非虚拟环境中共享资 0 0 1,000 2,000 3,000 4,000 5,000 源。例如,由于每个 VF可以为 l/O相 关功能提供一个唯一且独立的数据路 径,单个物理端口的带宽可以划分成 图 1.俄亥俄州立大学 MPI性能基准测试的虚拟化性能和非虚拟化性能结果。 较小的片段,将它们分配给特定的虚 拟机或 Guest系统。 3 在有些情况下,裸机(非虚拟化)方案的 在采用俄亥俄州立大学 MPI性能基准测试 结论 性能将继续高于虚拟化方案。因此,虽然 取得的吞吐率和延迟测试结果方面,虚拟 这一测试最终确定,基于云的高性能计算 虚拟化环境适用于某些高性能工作负载, 化性能实际上超过了裸机(非虚拟化)场 是一种可行的解决方案。英特尔以太网服 但必须考虑个别应用程序的性能和延迟 景的性能。尽管在采用英特尔 MKL LINPACK 务器适配器支持的单根 I/O虚拟化是一种 要求。 的测试中,裸机服务器的性能超过了虚拟 核心实现技术,可帮助克服与虚拟化相关 化性能,但单根 I/O虚拟化带来的优势已经 的性能限制。 证明了虚拟化使用模式的出色潜力。由于 虚拟化(包括云)具有的灵活性和可扩展 ® MKl LINPACK 性优势,这些结果值得进一步考虑。 90% 80% 未来展望 70% 要进一步探讨这一初步测试的情况,还需 60% 体而言,团队需要 要开展更多的工作。具 50% 测试更多的性能基准测试工具和实际应用 程序,以及扩大测试范围以纳入 InfiniBand 40% 结构和云基础设施(如 OpenStack 和 30% I/O Eucalyptus*)。将来的测试还将包括其他 20% I/O 管理程序(如Xen*)及其他虚拟机操作系 I /O 10% 统(如 Red Hat Enterprise Linux和 SUSE 0% Linux)。 0 10,000 20,000 300,000 40,000 50,000 60,000 随着 NASA继续优化其基于云的基础设施 N 即服务,该机构预计将可以在简化、灵活 图 2. 英特尔® MKL LINPACK的虚拟化和非虚拟化性能结果。 性和成本效益方面获得更多的优势。展望 未来,该机构的高性能计算工作负载已经 开始向采用以太网结构的开放式基础设施 解决方案提供商: 进行迁移,进一步的提速已是势在必行。 如欲了解有关 Nebula项目和服务的更多信息, http://nebula.nasa.gov 请访问 如欲了解有关 NASA气候模拟中心的更多信息, http://www.nccs.nasa.gov 请访问 如欲了解有关英特尔®以太网的更多信息,请访问 www.intel.com/go/ethernet 1 http://software.intel.com/sites/oss/project/openstack.php 2 Nuttcp-7.1.5.c(gcc 编译器):http://lcp.nrl.navy.mil/nuttcp 3 MVAPICH21.7rc1(英特尔® 编译器):http://mvapich.cse.ohio-state.edu/ 4 lntel® MKL 10.2.6(英特尔编译器):http://software.intel.com/en-us/articles/intel-math-kernel-library-linpack-download/ 本文所提供之信息均与英特尔®产品相关。本文不代表英特尔公司或其它机构向任何人明确或隐含地授予任何知识产权。除相关产品的英特尔销售条款与条件中列明之担 其它明确或隐含的担保,包括对适用于特定用途、适销性,或不侵犯任何专利、版权或其它知识产权的担 保条件以外,英特尔公司不对销售和/或使用英特尔产品做出任何 保。除非经英特尔书面同意,英特尔产品并非设计或有意用于任何英特尔产品故障可能会引起人身伤亡事故的应用领域。 英特尔可以随时在不发布声明的情况下修改规格和产品说明。设计者不得依赖于标记为“保留”或“未定义”的任何特性或说明。英特尔保留今后对其定义的权利,对于因今后对其进行修改所产生的 冲突或不兼容性概不负责。此处信息可能随时更改,恕不另行通知。请勿使用本信息来对某个设计做出最终决定。 文中所述产品可能包含设计缺陷或错误,已在勘误表中注明,这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。订购产品前,请联系您当地的英特尔销售办事处或分销商了解 el.com/ 最新技术规范。如欲获得本文或其它英特尔文献中提及的带编号的文档副本,可致电 1-800-548-4725,或访问英特尔网站:http://www.int Read the full 案例研究 英特尔®以太网万兆位服务器适配器 单根(Single Root)I/O虚拟化 美国航空航天管理局(NASA).

相关视频