英特尔®️ 傲腾™️ 技术助力中国电信打造更优 CDN 服务

  • 中国电信通过三层架构的 CDN 节点缓存系统为视频点播、直播等服务提供缓存加速能力。为应对越来越多的热点视频加速需求,中国电信引入英特尔傲腾持久内存及傲腾固态盘,分别对 CDN 节点中的缓存系统和索引系统进行优化升级,使 CDN 节点实现了高等级缓存扩容,加强了节点的服务连续性和可用性。

BUILT IN - ARTICLE INTRO SECOND COMPONENT

“高品质的视频点播、直播服务,有赖于高质量的 CDN 服务提供高效的内容分发和缓存加速能力,而 CDN 节点中存储设施的性能会直接影响 CDN 服务的水平。通过引入英特尔® 傲腾™ 持久内存与英特尔® 傲腾™ 固态盘,帮助我们高效地实现了 CDN 节点的高等级缓存扩容,加强了节点的服务连续性和可用性。”

——齐铁鹏,天翼云科技有限公司技术专家

作为 5G 时代重要的互联网服务类型,视频点播、直播等服务已处于互联网流量的绝对“C位”,占全部流量的 80% 以上1。中国电信以旗下天翼云 CDN (Content Delivery Network,内容分发网络),为众多头部视频服务商提供高效的内容分发和缓存加速能力,助力打造高品质视频服务。

通过三层架构的 CDN 节点缓存系统,中国电信可为不同热度、大小的视频提供不同等级的缓存加速能力。而随着业务规模的快速扩大,中国电信需要进一步扩展其高等级缓存规模,来应对越来越多的热点视频加速需求,消除性能瓶颈。

为此,中国电信与英特尔一起,引入英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘,分别对 CDN 节点中的缓存系统及索引服务进行优化升级。新方案在保持成本可控的前提下,帮助 CDN 节点扩大内存级缓存的容量,提升固态盘级缓存的性能,并使索引服务的恢复时长大幅缩短。英特尔®️ 傲腾™️ 产品的引入,使通过天翼云 CDN 分发加速的视频点播、直播服务在性能和可用性上获得有效提升,增强了中国电信 CDN 服务的市场竞争力。

中国电信天翼云CDN为互联网服务提供加速

随着 5G 时代全面开启,以视频服务为代表的各类高带宽、低延迟的互联网服务,正使 CDN 受到更多的市场关注。数据表明,2020年全球 CDN 市场规模已达 117.6 亿美元,并将在未来数年保持 27.3% 的年复合增长率2

作为全球领先的电信运营商,中国电信依托旗下知名云服务品牌天翼云,通过三级架构与全国1800多个节点,为众多互联网企业客户提供领先的电信级CDN产品,为视频、下载等互联网服务提供强有力的分发和加速引擎。

在广受关注的视频点播、直播服务中,如图一所示,天翼云CDN可通过智能负载均衡系统,将用户的点播、直播请求调度至最近的CDN节点,实现就近响应,从而有效解决、因跨运营商访问、跨地域访问、服务器带宽及性能带来的访问延迟问题,在降低企业客户源站带宽压力的同时实现快速访问,提升用户体验。

图一 应用于视频点播/直播场景的CDN服务

CDN节点优化需要更优存储设施

在借助自身优势,对CDN服务网络开展各种协议、路径优化之外,中国电信也希望通过节点优化,来进一步提升CDN的整体性能。由于CDN的运行机理是将热点内容和数据缓存到离用户最近的节点,因此优化的首选项是对CDN节点缓存系统的存储性能,包括IOPS(Input/Output Operations Per Second,每秒的输入输出量)、吞吐、时延、首包/首屏等进行提升。

如图二所示,天翼云现有CDN节点中的缓存系统主要采用了三级架构,自上而下分别为内存级、固态盘级和硬盘级。如表一所示,其中内存级性能最优,但容量最小、价格昂贵且具有易失性;硬盘级性能最低但容量最大,固态盘级的性能和容量均居中。

图二 天翼云CDN缓存系统三级架构

缓存层级

存储产品

易失性

价格

部署容量

时延性能

内存级

DRAM 内存

易失

昂贵

GB 级

纳秒级

固态盘级

NAND 固态盘组

非易失

普通

TB 级

微秒级

硬盘级

HDD 硬盘组

非易失

普通

PB 级

毫秒级

表一 不同存储层级的特性对比

通过自研算法,中国电信可根据数据热度和文件大小对缓存内容实施动态调整,以获得最佳性能输出。例如每逢佳节,阖家团圆的视频节目就会获得更多关注和点播,动态调整算法就会根据不同节目热度上升的幅度,将其从HDD硬盘迁移到NAND(闪存)固态盘;当热度继续上升,则会进一步迁移到DRAM内存中;而当视频热度减退,系统就会将其下沉至大容量HDD硬盘以节省宝贵的内存空间。

因此,对天翼云CDN节点缓存系统开展优化,需要在成本可控的范围内,一方面,对内存级缓存实施扩容,确保高热点数据获得性能加持;另一方面,对固态盘缓存进行性能升级,使其替代硬盘级缓存成为缓存加速主力,来提升天翼云CDN的整体性能。

此外,不同的业务场景对于CDN节点缓存系统的需求也有所不同。如图三所示,在体育赛事一类热门视频直播场景中,往往出现热点内容访问的聚集效应,视频内容会在一定时间内被观众反复请求,这就意味着大量热点数据会被长时间保留在最高缓存等级——内存级缓存中。而DRAM内存昂贵的单位容量价格,无疑让中国电信以及企业客户在扩容时面临巨大的成本压力。

在视频点播场景中,热点内容往往比较分散且热门时间较短,因此客户会更关注缓存系统的整体性能表现。这就需要固态盘级缓存的性能可与内存级缓存实现平滑过度。而传统NAND固态盘产品在时延性能上往往与DRAM内存有着上百倍的差距,这一巨大缺口需要一种全新的存储产品来予以填补。

图三 不同业务场景对CDN节点缓存系统的需求

另一项亟待开展的优化是提升CDN节点中的索引性能。当CDN节点出现断电、宕机等意外情况时,索引数据的恢复速度将直接影响CDN服务的连续性和可用性。因此,中国电信需要寻找一种兼顾性能、容量和非易失性的存储产品,来为索引服务提供更有力的性能保证。

借助英特尔®️ 傲腾™️ 产品组合,打造大容量、高性能CDN缓存系统

针对CDN节点缓存系统优化的不同需求,如图四所示,英特尔为其内存级和固态盘级缓存分别提供了英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘两种先进产品,帮助中国电信打造大容量、高性能的CDN节点缓存系统。

图四 依托英特尔®️ 傲腾™️ 产品组合实施CDN缓存系统升级

内存模式下的英特尔® 傲腾™ 持久内存,带来高性能、大容量的内存扩展

作为全新的内存产品,英特尔® 傲腾™ 持久内存基于创新的存储介质以及字节寻址能力,具备接近传统DRAM内存的性能。而在卓越的性能表现之外,如图五所示,英特尔® 傲腾™ 持久内存为客户提供了内存模式和App Direct(AD)模式两种不同的应用模式,应对不同业务场景中的需求。

图五 英特尔® 傲腾™ 持久内存的两种应用模式

内存模式下的英特尔® 傲腾™ 持久内存,能通过与DRAM内存的配合使用,以内存和存储的分层架构来优化工作负载的性能,从而帮助CDN节点中的内存级缓存在保持既有性能水平的前提下,以低成本的方式获得巨大的容量增幅。以本方案中验证的英特尔® 傲腾™ 持久内存100系列为例,其单模组容量最高可达512GB,在与DRAM内存进行组合后,可帮助缓存系统获得6TB的内存总容量。

而全新到来的英特尔® 傲腾™ 持久内存200系列,在继续提供512GB的单模组容量外,可与双路平台的第三代英特尔® 至强® 可扩展处理器相配合,在提供3200MT/S内存带宽的基础上,实现单颗CPU高达4TB的英特尔® 傲腾™ 持久内存容量,以及在双路服务器上8TB的内存总容量,可帮助天翼云CDN在应对大规模热门数据请求时更加游刃有余3

英特尔® 傲腾™ 固态盘有效弥补高性能与大容量缓存间的缺口

一直以来,DRAM内存和NAND固态盘都在CDN节点缓存系统中充当高性能计算与大容量存储之间的性能缓冲区。随着缓存数据规模以及性能要求的不断提升,DRAM内存和NAND固态盘之间的性能差距也越来越大,甚至在一些场景中造成用户体验问题。

英特尔® 傲腾™ 固态盘是弥补这一性能缺口的良好选择。与传统NAND固态盘相比,方案中测试验证的英特尔® 傲腾™ 固态盘 P4800X表现出以下优势:

  • 更强性能表现:可实现55万次的随机读取/写入IOPS性能,读取/写入延迟可低至10微秒; 
  • 更好的一致性:可在CDN的缓存加速工作负载中提供一致性表现,即产品能够始终运行在更低队列深度,从而保持性能最优;
  • 更长使用寿命:得益于领先的存储介质与工作模式,英特尔® 傲腾™ 固态盘的使用寿命可比传统NAND固态盘延长数十倍4

更值得一提的是,随着新一代英特尔® 傲腾™ 固态盘 P5800X的到来,其以全新的架构设计和性能升级,可以在以上几个维度中提供更强的性能表现。例如,其具备读写双通道,在任何工作负载下数据写入和读出的性能相互不影响,4K混合读写可以达到180万IOPS(基于PCIe 4.0)5

优化方案性能验证,符合预期

为验证内存模式下的英特尔® 傲腾™ 持久内存与英特尔® 傲腾™ 固态盘的产品组合,为天翼云CDN节点缓存系统带来的存储性能提升,英特尔与中国电信一起开展了多方位的测试。

针对英特尔® 傲腾™ 持久内存的加速能力验证,方案启动了一个压力测试进程,如表二所示,QPS( Query Per Second,每秒请求数)设置为2600,内存命中算法配置为CLFUS,并采用了不同数据请求场景:

缓存产品

测试
文件量

存储
使用量

传输时延

首字节
平均时延

纯 DRAM 内存
(384GB DRAM)

300GB(使用 500MB 数据模拟)

307.5MB

0.8 毫秒

0.67 毫秒

内存模式下的英特尔® 傲腾™ 持久内存与 DRAM 内存组合
(192GB DRAM + 1TB 持久内存)

300GB

585.7GB

1.2 毫秒

0.52 毫秒

内存模式下的英特尔® 傲腾™ 持久内存与 DRAM 内存组合
(192GB DRAM + 1TB 持久内存)

500GB

699.9GB

1~8毫秒

1.34毫秒

表二 英特尔® 傲腾™ 持久内存加速能力测试结果6

从测试结果可以看到,当测试文件量为300GB时,在内存模式下的英特尔® 傲腾™ 持久内存与DRAM内存的组合模式中,测试数据大多已被存储在英特尔® 傲腾™ 持久内存中,首字节平均时延和传输时延两项指标与纯DRAM内存模式不相上下。而当测试文件量为500GB时,纯DRAM内存模式已因容量受限而无法满足业务场景对延迟的要求,而此时内存模式下的英特尔® 傲腾™ 持久内存与DRAM内存的组合仍然有着满足中国电信预期的性能表现。

针对英特尔® 傲腾™ 固态盘的加速能力验证,如表三所示,方案同样也启动了一个压力测试进程,并就不同的QPS模拟请求1200个10M文件。

测试用例

带宽

整体时延(毫秒)

首字节时延(毫秒)

只读 200 QPS

16Gbps

15

1.7

只读 400 QPS

32Gbps

20

2.6

只读 480 QPS

36Gbps

40-80

9.75

表三 英特尔® 傲腾™ 固态盘加速能力测试结国7

从测试结果可以看到,英特尔® 傲腾™ 固态盘在不同的QPS请求下都获得了良好的带宽表现;在整体时延以及首字节时延性能指标上,也符合中国电信的预期,堪为CDN节点优化缓存性能的绝佳选择。

依托英特尔® 傲腾™ 持久内存的大容量与持久性,打造更优索引能力

中国电信通常会将索引服务部署在天翼云CDN节点内存数据库,来为其服务提供高性能的索引能力。如图六左侧所示,当CDN节点出现断电、宕机等意外时,传统DRAM内存易失性的特点,使其需要从磁盘备份中重新读取索引文件。受限于索引文件数量、大小以及磁盘性能,这通常会带来数分钟的服务停顿,严重影响用户体验。

图六 部署在不同存储设备中的索引文件恢复方式

为有效解决这些问题,中国电信引入英特尔® 傲腾™ 持久内存,采用其AD模式,一方面为CDN节点提供高密度的内存容量,且保持卓越性能;另一方面如图六右侧所示,基于其持久性特征,保障系统即使发生断电或重启,数据仍会保留。

通过英特尔与中国电信一起开展的测试,有效证明了索引部署在AD模式下的英特尔® 傲腾™ 持久内存中时具有显著优势。测试显示,AD模式下的英特尔® 傲腾™ 持久内存与传统DRAM内存相比,各项性能差值均在中国电信的预期范围内;在中国电信最关注的索引恢复速度上,英特尔® 傲腾™ 持久内存加载耗时与传统模式相比,从220秒减少至12秒以内,下降幅度多达18倍以上8,大幅提升了CDN服务的连续性和可用性。

展望

5G时代的到来使视频点播、直播等互联网服务蓬勃发展,在为用户提供高品质服务体验的同时,也对CDN服务能力提出更高的要求。而中国电信与英特尔面向CDN节点缓存系统以及索引能力携手开展的优化,已被证明可以显著提升其服务效能,能够在有效控制成本的前提下,为视频点播、直播及其它互联网服务提供更强劲的高等级缓存加速能力,满足更多热点数据的分发加速需求。

面向未来,双方还计划在CDN服务等领域开展更多的交流合作与探索,例如将新一代英特尔® 傲腾™ 持久内存产品引入优化方案;以及进一步扩大固态盘级缓存的规模,引入更多NVMe英特尔® 固态盘产品来提升整体性能表现等,进而通过打造兼顾性能、成本和可用性的CDN服务,为用户提供更优的互联网体验。

实际性能受使用情况、配置和其他因素的差异影响。

性能测试结果基于配置信息中显示的日期进行的测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝对安全的

具体成本和结果可能不同。

英特尔技术可能需要启用硬件、软件或激活服务。

© 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司的商标。

*其他的名称和品牌可能是其他所有者的资产。

产品和性能信息

1数据援引自公开媒体报道:http://www.cww.net.cn/article?id=407626
2数据援引自 Mordor Intelligence 报告:CONTENT DELIVERY NETWORK (CDN) MARKET - GROWTH, TRENDS, COVID-19 IMPACT, AND FORECASTS (2021 - 2026),https://www.mordorintelligence.com/industry-reports/content-delivery-market
3更多英特尔® 傲腾™ 持久内存信息,请参阅英特尔官网:https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/achieve-insight-data-intel-optane.html
4更多英特尔® 傲腾™ 固态盘 4800X 信息,请参阅英特尔官网:https://www.intel.cn/content/www/cn/zh/products/docs/memory-storage/solid-state-drives/data-center-ssds/optanessd-dc-p4800x-p4801x-brief.html
5更多英特尔® 傲腾™ 固态盘 5800X 产品信息,请参阅英特尔官网:https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/welcome-storage-media-revolution.html
6测试配置:对比组:双路英特尔® 至强® 金牌 6252 处理器,主频 2.10GHz,24 核心 48 线程,内存:192GB DRAM ;存储:2 * SATA NAND 固态盘 480G + 7* 英特尔® P4320 QLC 固态盘 7.68T;网络适配器:2 * 25Ge;测试组:处理器:双路英特尔® 至强® 金牌 6252 处理器,主频 2.10GHz,24 核心 48 线程,内存:192GB DRAM + 8*128GB 英特尔® 傲腾™ 持久内存(内存模式);存储:2 * SATA NAND 固态盘 480G + 7* 英特尔® P4320 QLC 固态盘 7.68T;网络适配器:2 * 25Ge ;
7测试配置:测试组:处理器:双路英特尔® 至强® 金牌 6252 处理器,主频 2.10GHz,24 核心 4 8线程,内存:192GB DRAM ;存储:2 * SATA NAND 固态盘 480G + 2* 英特尔® 傲腾™ 固态盘 P4800X 750G + 7* 英特尔® P4320 QLC 固态盘 7.68T;网络适配器:2 * 25Ge;
8测试配置:对比组:处理器:双路英特尔® 至强® 金牌 5218 处理器,主频 2.30GHz,16 核心 32 线程,内存:384GB DRAM;存储:2*1.2TB SAS + 4 *960GB NAND 固态盘 + 8 *6TB SATA 硬盘;网络适配器:4 * 10Ge;测试组:处理器:双路英特尔® 至强® 金牌 6252 处理器,主频 2.10GHz,24 核心 48 线程,内存:192GB DRAM + 8*128GB 英特尔® 傲腾™ 持久内存 (AD 模式 200G,内存模式:824G);存储:2 * SATA NAND 固态盘 480G + 7* 英特尔® P4320 QLC 固态盘 7.68T;网络适配器:2 * 25Ge;