平衡性能与成本 为云平台内存高效“扩容”

英特尔® 傲腾™ 固态盘搭配英特尔® Memory Drive 技术,为华数传媒云平台带来更优内存方案

引言:

  • “云计算平台已成为公司不可或缺的基础能力平台,无论是互动电视业务、OTT,还是大数据、新业务拓展都离不开它。内存容量的大小会直接影响各项业务的开展效率和用户体验,引入搭配英特尔® Memor y Drive 技术的英特尔® 傲腾™ 固态盘,帮助我们显著提升了云平台的使用效率,也让用户获得了更流畅的体验。”

  • 张琴,平台运维总监,华数传媒

author-image

作者

云计算服务已成为众多企业用来提升运营效率、加速业务发展的首选途径。位列中国新媒体和三网融合产业发展第一梯队的华数传媒网络有限公司 (以下简称“华数传媒”),也在积极构建面向研发与运营的基础云平台,为自有业务提供各类基础能力的服务。

随着各类应用规模的不断扩大,它们对华数传媒云平台的性能也提出了更高要求。虽然在云环境下,计算、存储和网络设备均可进行灵活的资源调度,但缺乏良好虚拟化手段的内存,正在成为限制其性能发挥的瓶颈所在。传统的通过增加动态随机存取存储器,即普通物理内存 (Dynamic Random-Access Memory,缩写为 DRAM) 的方法,不仅会带来总体拥有成本 (Total Cost of Ownership,TCO)的上升,也受困于系统设计的上限。

通过与英特尔开展深入技术合作,华数传媒引入了搭配英特尔® Memory Drive 技术(Intel® Memory Drive Technology)的英特尔® 傲腾™ 固态盘,来扩展其云平台的内存容量。测试结果表明,先进的英特尔® Memory Drive 技术,与基于 3D XPoint™ 存储介质构建的英特尔® 傲腾™ 固态盘相结合,可在确保成本经济性的同时,为华数传媒云平台提供与 DRAM 相仿的性能表现,有效提升华数云平台的效率。

云计算平台亟需对内存“扩容”的新方案

在现代计算机体系结构中,内存作为数据处理中间结果的存储对象,一直是各信息化系统和平台的核心组件1。随着计算机应用规模的不断扩大,其对内存的需求也越来越大。尤其在云计算环境中,计算、存储和网络设备可通过虚拟化软件得以资源池化,成为有弹性、易扩展的云化资源,但以 DRAM 为代表的传统物理内存由于缺乏有效的虚拟化手段,在面临越来越多的虚拟机租户时,开始显得力不从心。

华数传媒面向研发与运营的基础云平台正面临这一问题。作为公司内部部署的云计算平台,它主要面向华数传媒自有业务运营提供服务能力,随着业务的不断扩展,尤其是华数传媒在数字化内容运营、大数据分析等新业务场景上的不断探索尝试,公司对于该云平台的使用效率也有着越来越高的要求。

在单台服务器上加大虚拟机部署数量是云平台提高资源利用率、提升其经济性的有效手段。但随着处理器能力的不断增加,相对固定的 DRAM 容量正渐渐成为虚拟机部署规划的瓶颈。以华数传媒基于双路英特尔®至强®金牌 6148 处理器,以及 512GB DDR4-2666MHz DRAM 内存构建的云主机为例,它共有 40 内核 80 线程。在理想情况下,用于互动门户业务的单台云主机部署的虚拟机数量可达 32+。此时,即便采用内存超配技术(Memory Overcommit),按照一定的超配率,每个虚拟机分配到的内存容量也相对有限,无法满足华数传媒云平台中愈来愈庞大的应用对于内存的需求,甚至会造成业务性能下降等严重问题。

解决这一问题的方法主要有两种,一种是持续增加 DRAM 的容量,另一种是利用 Linux 操作系统的 SWAP 分区,将部分内存数据存放到硬盘中。第一种方式受限于 DRAM 愈来愈昂贵的采购价格,以上述云主机采用的 DDR4-2666MHz DRAM 为例,当前其每 GB 价格高达 8 美元2,如此高昂的采购成本,会令华数传媒的TCO 骤然跃升。同时,DRAM 的总量也无法突破系统的设计限制。

而 SWAP 的方式,又会带来性能的急剧下降,原因在于,SWAP分区中的数据存储在硬盘中,即便采用性能优越的高速 NAND 闪存固态盘,其存取延时也在微秒级,相比于 DR AM 的纳秒级延时,这一断崖式的延时差,往往会带来应用程序的运行异常,甚至被强制中断。

在许多云平台的实际使用中,这一现象时有发生。在一些业务场景中,当应用访问到 SWAP 分区时,就会造成操作缓慢,甚至死机等状况。而当运维人员希望用新的虚拟机接替旧虚拟机时,由于云平台对 DRAM 缺乏释放机制,又会造成云平台被迫将更多的数据放置在 SWAP 分区中,进而形成恶性循环,造成云平台整体性的崩溃事故。

由此可见,包括华数传媒云平台在内的一系列企业云服务,都日益受到内存容量受限带来的困扰。无论是从提升云平台整体工作效率,还是从降低 TCO 出发,华数传媒都需要找到一种更为有效的技术手段,来应对这一日趋严峻的挑战。而与英特尔开展的深度技术合作,使其寻获了搭配英特尔® Memory Drive 技术的英特尔® 傲腾™内存这一“黑科技”组合,用作良方。

基于英特尔黑科技的全新 “云内存” 方案

提到英特尔® 傲腾™ 固态盘,相信众多企业用户已不陌生。作为英特尔推出的全新存储产品,它基于 3D XPoint™ 存储介质构建,能提供更高的读写性能、更低的访问延时以及更高的耐用性。当其作为缓存 (Cache) 方式使用时,在多用户、高并发的联机事务处理 (On- Line Transaction Processing,OLTP) 应用场景下,有着非常突出的性能优势。

英特尔® Memory Drive 技术,则能把英特尔® 傲腾™ 固态盘作为内存的一份子来使用,导入到华数传媒的云平台中。作为一种软件定义内存 (Software Defined Memory,SDM) 技术,英特尔® Memory Drive 技术能够与英特尔® 傲腾™ 固态盘紧密协作,借助其模拟出一个大容量内存池,有效扩展云平台内存容量。同时,英特尔® Memory Drive 技术还能智能地确认数据在池中的位置,大幅提升数据存取性能,从而令云平台有能力承担更多的工作负载。

这种在内存层面的,兼顾容量和性能的明显提升,可助力华数传媒突破系统对内存的限制,帮助使用者利用云平台对工作负载展开更多、更有想象力的探索,如借助 Apache Spark 内存型大数据处理引擎,展开业务数据分析等。而且,与 DRAM 昂贵的价格相比,目前英特尔® 傲腾™ 固态盘每 GB 价格仅为 4.5 美元左右,约为主流 DRAM 的 55%2。因此,英特尔® 傲腾™ 固态盘更为经济的部署成本,也能够有效地帮助华数传媒降低 TCO。

即便如此,很多潜在用户还是对英特尔® 傲腾™ 固态盘作为内存使用时,性能是否可与 DRAM 相媲美存有疑虑。为此,华数传媒团队与英特尔一起,对其在云平台业务应用中的表现进行了多样化的测试。

在测试中,新平台的云主机处理器为双路英特尔® 至强® 金牌6148 处理器,40 内核 80 线程,内存为 64GB DRAM,它与 2 块 375GB 版本的英特尔® 傲腾™ 固态盘DC P4800X 一起,通过英特尔® Memor y Drive 技术构成总量为 704GB 的内存池 (英特尔® Memory Drive 技术带来 110GB 的容量开销) 。旧平台测试组处理器为双路英特尔® 至强® 处理器 E5-2680 v4,28 内核 56 线程,内存为 512GB DRAM3

测试通过两个维度展开。首先,在虚拟机支持能力上,在同样的负载场景下,新平台与旧平台支撑的虚拟机数量分别为 44 台与 32 台。在相同或更低的价格下,新平台比旧平台增加了 37.5% 的虚拟机支撑能力。其次,在利用专业的内存性能测试套件 Phoronix- Test-Suite 执行的性能测试中,如图一所示,新平台比旧平台的平均速度提升约 57%。

图一 新旧平台在 Phoronix-Test-Suite 上执行 RamSpeed 基准测试的结果对比

从测试结果可以看出,由英特尔® Memory Drive 技术搭配英特尔® 傲腾™ 固态盘的内存池,在应用场景中的性能表现,能够与只使用 DRAM 时处于同一量级。在华数传媒面向核心业务的应用场景中,已完全可与 DRAM 协同使用。而华数传媒为其云平台部署的英特尔® 至强® 可扩展处理器,也为英特尔® 傲腾™ 固态盘在云平台中的应用提供了必不可少的强算力支持。

未来展望

除了在华数主要业务场景中部署英特尔® 傲腾™ 固态盘以外,华数传媒团队也在积极探索,让这项新技术在更多的应用场景中发挥所长。例如常用于会话缓存的可持久化数据库 Redis,其具有极高的读写性能,是企业级信息化系统的常用组件之一。由于 Redis 基于内存构建,对内存容量有着较高要求。通过大容量英特尔® 傲腾™ 固态盘的加持,预计也有望助力云平台提升Redis服务的工作效率。

另一值得关注的应用场景是内存型,或基于内存的大数据处理引擎 Apache Spark,其可以协助用户基于云平台开展更为高效的大数据分析,助力华数传媒针对用户数据更快制订经营策略,更快、更好地响应用户需求。但作为内存型处理引擎,Spark 同样也需要充沛的内存资源来保障其性能,而能兼顾大容量和高性能优势的英特尔® 傲腾™ 固态盘,正好可以满足这一需求。

在未来,随着华数传媒与英特尔之间技术合作的不断深入,结合英特尔® Memory Drive 技术的英特尔® 傲腾™ 固态盘,以及即将伴随英特尔新一代至强® 平台到来的英特尔® 傲腾™ 数据中心级持久内存,将有望在更多核心业务场景发挥关键作用,成为华数传媒,以及更多有着类似需求的用户在云计算服务发展上的一个重要里程碑。

数传媒基于英特尔技术实现的解决方案优势:

• 搭配英特尔® Memory Drive 技术的英特尔® 傲腾™ 固态盘与传统 DRAM 内存共同组成内存池后,性能上可达只用 DRAM内存时的 1.57 倍。在同等或更低价格下,虚拟机支撑数量是只用 DRAM 内存时的 1.375 倍;

• 目前搭配英特尔® Memory Drive 技术的英特尔® 傲腾™ 固态盘每 GB 价格,为 DRAM 内存的 55%;