软银通信业务基础设施实现 3 倍虚拟机容量提升和 41% 的成本削减

英特尔® 傲腾™ 持久内存的性能验证可提高虚拟机容量并降低基础架构成本。

简介:

  • 通信运营商软银为其内部IT基础架构使用了10,000多个虚拟机,主要用于关键任务系统。

  • IT 基础架构部门决定将虚拟化基础架构切换到具有英特尔® 傲腾™ 持久内存的服务器,从而将 VM 容量提高 3 倍。1

author-image

作者

实施“Beyond Carrier(不只是运营商)”战略,将信息革命推向新阶段

软银是软银集团旗下通信业务子公司,主营移动通信、宽带服务和固话电信等核心业务,于 2018 年 12 月在东京证券交易所主板挂牌上市。软银秉承“信息革命 — 造福全民”的企业理念,推行 Beyond Carrier(不只是运营商)战略,致力于将信息革命推向新阶段。该战略打破了传统电信业务的固有模式,旨在通过为各行各业提供创新服务来实现进一步增长。

在核心通信业务方面,软银、Y-Mobile 和多载波移动虚拟网络运营商 LINE Mobile 能够满足各种各样的需求。软银和 Y-Mobile 还携手日本最大的门户网站之一 Yahoo! 提供独特的服务。除了开发用于固网和企业服务的光纤网络外,软银还努力让使用人工智能、物联网、机器人和自动驾驶等先进技术的新型服务解决方案走出技术开发和演示实验阶段,朝着高速度、大容量和低延迟的 5G 实践应用方向迈进。

公司信息技术部 IT 基础设施部门坚定落实 Beyond Carrier 战略,勇于迎接挑战并不断开拓创新。 信息技术部 IT 基础设施部门高级主管 Tadashi Suzuki 表示:“通信服务及其基础设施已成为日常生活和工作中不可或缺的一部分,它们正变得比以往任何时候都重要。我们 IT 部门的目标是,在确保通信安全性和稳定性的同时追求最新技术,并通过信息革命造福人类。”

验证英特尔® 傲腾™ 持久内存在提高服务器整合率方面的功能和性能

作为一家通信运营商,软银在内部 IT 基础设施中部署了超过 10,000 台虚拟机,主要用于关键业务系统、公司及其合作伙伴公司约 45,000 名员工使用的信息系统、日常运营中使用的应用(比如呼叫中心系统、存储系统或移动商店中使用的计费系统)以及智能手机应用/云服务等消费者服务。自 2015 年软银移动、软银宽带、软银电信和 Y-Mobile 合并以来,公司便开始管理多个分布式数据中心和 1,000 多个机架。

为了提高基础设施效率,软银在 10 年前就引入了虚拟化平台。但是随着时间的增长,这些硬件已经开始老化,处理故障所需的操作步骤也越来越多。由于在合适的位置为业务应用引入了虚拟化平台,VMware*、Hyper-V*、Xen*、KVM 和开源软件 OpenStack* 等商业产品的虚拟机管理程序均混合部署在平台中。

随着每年添加 1,000 多台虚拟机,数据中心对机架空间的需求也开始增加。为了提高服务器整合率并降低基础设施成本,软银在 2018 年构建了与 Vmware* 统一管理的集成式虚拟化平台,并于 2019 年 6 月开始整合在先前虚拟化平台上运行的系统。

1,000 多台虚拟机全部迁移完毕后,他们检查了虚拟化基础设施的资源使用情况,随后却发现,即使这样可以节省 CPU 资源,内存分配率也几乎达到了极限 (100%)。

对此,信息技术部 IT 基础设施部门总监 Tanemura Kohei 表示:“由于存在通信访问高峰拥堵问题,我们根据高峰期的容量来购买平台。虽然 CPU 利用率持续波动,但是最初分配的内存是预留出的固定容量,可能会出现先耗尽的情况。此外,有些 CPU 可以使用过载使用机制分配多于物理资源的虚拟资源,但是过载分配内存并不是一种可行的选择,在我们尝试提高整合率时,首先耗尽的将是内存资源。”

为了解决这些问题,软银将目光锁定在英特尔® 傲腾™ 持久内存 — 这是一种非易失性内存,可提供高访问性能和大容量存储。2019 年 4 月英特尔发布该产品后,公司便立即投入使用,并决定验证其运行性能和实用性,以确定能否将其引入到集成式虚拟化平台中。IT 基础设施部门经理 Yusuke Omiya 回忆说: “我们的目的是研究即将引进的服务器设计,并验证它是否有助于提高服务器整合率。”

在类似于商业环境的配置中验证部署、功能、性能和设计

IT 基础设施部门借用了两台配有英特尔® 傲腾™ 持久内存的服务器作为评估机,并计划在类似于商业环境的配置中进行验证。公司之前使用 16 台服务器、2 台网络设备和 1 个存储单元在一个服务器机架中搭建商业环境。在验证过程中,这 16 台服务器中有 2 台替换为评估机,并保持 Vmware* 网络、存储或虚拟化环境配置不变。Omiya 表示:“我们在每个机架单元中采用松散耦合的方式进行配置,系统可用性得到显著提升。这样即使发生故障,影响也仅限于机架内部,而不会波及整个系统。”验证摘要如下。

评估机

服务器 1

• CPU:英特尔® 至强® 金牌 6252 处理器

• 内存:英特尔® 傲腾™ 持久内存 128GB x 12 (1.5TB)

• 内存高速缓存:DRAM 16GB x 12 (192GB)

• 固态盘:SATA 480GB,NVMe* 4TB

• NIC:10Gb 双端口

服务器 2

• CPU:英特尔® 至强® 铂金 8260L 处理器

• 内存:英特尔® 傲腾™ 持久内存 256GB x 12 (3.0TB)

• 内存高速缓存:DRAM 32GB x 12 (384GB)

• 固态盘:SATA 480GB,NVMe* 4TB

• NIC:10Gb 双端口

验证计划表

验证时间为 2019 年 7 月到 9 月,为期 3 个月。第 1 个月,公司进行了环境调查和内部调整,并制定了具体的验证计划。从 8 月开始,他们的工作重点转移到了数据中心,并建立了验证环境。实际验证在 8 月的第二周开始,功能/性能验证约用时三周。9 月,在保持验证环境配置不变的情况下执行一项长期测试,即在 CPU 负载保持近 100% 的条件下持续运行一个月。最后,根据性能验证结果开始实际应用设计。

验证项目

此次验证针对部署、功能、性能和设计执行了九项测试。验证项目也比较切合实际商业用途,涵盖初始安装、功能和性能测试以及功耗测量等各个方面。Omiya 说: “功耗是生产运营中重要的考虑因素。我们管理着多个数据中心,机架数量超过 1,000 个,但每个机架的可用功耗是固定的。因此,我们需要确保验证结果在可接受的范围内。”

部署

• 安装:可使用内部标准程序安装操作系统

• 添加 vCenter/ 集群:可添加到 vCenter/ 集群中

功能

• 基础功能:验证 Vmware* 的基础功能,比如虚拟机部署、vMotion、DRS

• 敏感性试验:关闭电源,执行 VMware* 高可用性和服务器混合环境测试

• 长期测试:在评估机借用期内,以 100% CPU 负载进行 1 个月的长期测试

性能

• 执行基准测试:在配有英特尔® 傲腾™ 持久内存的服务器上执行基准测试

• 基准测试比较:将基准测试结果与现有服务器进行比较

设计

• 功耗测量:测量设计所需的功耗

• 初步设计:引进英特尔® 傲腾™ 持久内存时的初步设计

验证结果

部署和功能验证已成功完成,结果表明英特尔® 傲腾™ 持久内存可以用于商业环境。使用基准测试工具 UnixBench 进行服务器性能验证的结果如下所示。在配置和测量 8 核 32GB 虚拟机时,采用英特尔® 至强® 金牌 6252 处理器的验证机性能比当前采用英特尔® 至强® 银牌 4114 处理器的机器更高。

使用基准测试工具 Lmbench3 测量的 8 核 32GB 虚拟机内存延迟没有明显变化。在配置和测量 8 核 384GB 虚拟机时,现有环境中的高峰期延迟约为 110 纳秒(如图所示),而在使用采用英特尔® 傲腾™ 持久内存和英特尔® 至强® 金牌 6252 处理器的服务器时, 高峰期延迟约为 340 纳秒。

原因可能在于在虚拟机内存容量为 384GB 的情况下,DRAM 缓冲区 (384GB) 溢出以及数据写入英特尔® 傲腾™ 持久内存导致了数据增加。而当使用应用进行测试时,软银没有发现任何问题。

“我们将把 2020 年 2 月之后发布的所有虚拟化平台都换成配置有英特尔® 傲腾™ 持久内存的服务器,并计划从 300 台开始逐步迁移和运行。”----- Kohei Tanemura, 主管,IT 基础设施部门,IT 基础设施部门,信息技术部

每台虚拟机的预估成本同比降低 41%

验证结果表明,每台虚拟机的内存分配量可增加 33%1,虚拟机容量可提高多达 3 倍。该公司在当前实践中采用了英特尔® 至强® 金牌 6222V 处理器,该处理器具有相似数量的内核,并且功耗较低。因此,虚拟机单价预计也将比 2018 年上半年的采购价减少 41%。该公司预计服务器单价将会提高 15%,但更高的整合率将减少服务器数量和 Vmware* 许可成本,从而降低总体成本。

物理服务器整合率的提高将会减少每年需要的机架安装量,从而改善数据中心的空间效率。共享存储也将随着机架数量的减少而减少。

使用英特尔® 傲腾™ 持久内存取代所有集成式虚拟化基础设施

由于验证结果符合预期,IT 基础设施部门决定从 2019 财年下半年开始,将虚拟化基础设施的服务器替换成配置有英特尔傲腾™ 持久内存的服务器。Tanemura 表示:“我们将把 2020 年 2 月之后发布的所有虚拟化平台都换成配置有英特尔® 傲腾™ 持久内存的服务器,并计划从 300 台开始逐步迁移和运行。”

IT 基础设施部门已经在使用全新的虚拟化平台,现在他们正在考虑在数据库和多路存取边缘计算 (MEC) 领域应用英特尔® 傲腾™ 持久内存。此外,他们还计划向 IT 部门的应用开发部门和 DevOps 部门公布此次验证结果。Suzuki 指出:“虚拟机内存耗尽是所有 IT 团队都面临的一个问题。我们将积极共享信息,提高整个公司系统的效率。我们期待英特尔为我们带来更多惊喜。”

英特尔® 傲腾™ 持久内存

英特尔® 傲腾™ 持久内存是一种低成本、低延迟的大容量内存,具有接近 DRAM 的性能(比传统固态盘快 40 倍)。此外,它是一种非易失性内存,即使服务器因故障等原因而断电,也可以保留数据。

它有两种运行模式:“App Direct 模式”,用作超高速非易失性内存;“内存模式”,可像普通DRAM 一样用作大容量内存。内存模式的单位存储成本更低,因此能够以经济的 RAM 形式提供接近 DRAM 的性能。

 挑战

• 减少数据中心占用空间

• 降低服务器成本

• 增加每台服务器的内存

解决方案

• 英特尔® 傲腾™ 持久内存

• 英特尔® 至强® 金牌 6222V 处理器

成效

• 响应速度加快

• 每台虚拟机分配的内存增加 33% 1

• 虚拟机容量增加多达 3 倍1

• 虚拟机单价同比降低 41%1

• 数据中心空间效率有所提高

软银公司

成立日期:1986 年 12 月 9 日

资本:2043.09 亿日元(截至 2019 年 3 月 31 日)

销售额:37,463 亿日元(截至 2019 年 3 月的财年)

员工人数:约 17,100 人(截至 2019 年 3 月 31 日)

业务活动:移动通信、移动设备销售、固话电信和互联网连接业务

下载 PDF ›