“高品质的视频点播、直播服务,有赖于高质量的 CDN 服务提供高效的内容分发和缓存加速能力,而 CDN 节点中存储设施的性能会直接影响 CDN 服务的水平。通过引入英特尔® 傲腾™ 持久内存与英特尔® 傲腾™ 固态盘,帮助我们高效地实现了 CDN 节点的高等级缓存扩容,加强了节点的服务连续性和可用性。”
作为 5G 时代重要的互联网服务类型,视频点播、直播等服务已处于互联网流量的绝对“C位”,占全部流量的 80% 以上1。中国电信以旗下天翼云 CDN (Content Delivery Network,内容分发网络),为众多头部视频服务商提供高效的内容分发和缓存加速能力,助力打造高品质视频服务。
通过三层架构的 CDN 节点缓存系统,中国电信可为不同热度、大小的视频提供不同等级的缓存加速能力。而随着业务规模的快速扩大,中国电信需要进一步扩展其高等级缓存规模,来应对越来越多的热点视频加速需求,消除性能瓶颈。
为此,中国电信与英特尔一起,引入英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘,分别对 CDN 节点中的缓存系统及索引服务进行优化升级。新方案在保持成本可控的前提下,帮助 CDN 节点扩大内存级缓存的容量,提升固态盘级缓存的性能,并使索引服务的恢复时长大幅缩短。英特尔®️ 傲腾™️ 产品的引入,使通过天翼云 CDN 分发加速的视频点播、直播服务在性能和可用性上获得有效提升,增强了中国电信 CDN 服务的市场竞争力。
中国电信天翼云CDN为互联网服务提供加速
随着 5G 时代全面开启,以视频服务为代表的各类高带宽、低延迟的互联网服务,正使 CDN 受到更多的市场关注。数据表明,2020年全球 CDN 市场规模已达 117.6 亿美元,并将在未来数年保持 27.3% 的年复合增长率2。
作为全球领先的电信运营商,中国电信依托旗下知名云服务品牌天翼云,通过三级架构与全国1800多个节点,为众多互联网企业客户提供领先的电信级CDN产品,为视频、下载等互联网服务提供强有力的分发和加速引擎。
在广受关注的视频点播、直播服务中,如图一所示,天翼云CDN可通过智能负载均衡系统,将用户的点播、直播请求调度至最近的CDN节点,实现就近响应,从而有效解决、因跨运营商访问、跨地域访问、服务器带宽及性能带来的访问延迟问题,在降低企业客户源站带宽压力的同时实现快速访问,提升用户体验。
图一 应用于视频点播/直播场景的CDN服务
CDN节点优化需要更优存储设施
在借助自身优势,对CDN服务网络开展各种协议、路径优化之外,中国电信也希望通过节点优化,来进一步提升CDN的整体性能。由于CDN的运行机理是将热点内容和数据缓存到离用户最近的节点,因此优化的首选项是对CDN节点缓存系统的存储性能,包括IOPS(Input/Output Operations Per Second,每秒的输入输出量)、吞吐、时延、首包/首屏等进行提升。
如图二所示,天翼云现有CDN节点中的缓存系统主要采用了三级架构,自上而下分别为内存级、固态盘级和硬盘级。如表一所示,其中内存级性能最优,但容量最小、价格昂贵且具有易失性;硬盘级性能最低但容量最大,固态盘级的性能和容量均居中。
图二 天翼云CDN缓存系统三级架构
表一 不同存储层级的特性对比
通过自研算法,中国电信可根据数据热度和文件大小对缓存内容实施动态调整,以获得最佳性能输出。例如每逢佳节,阖家团圆的视频节目就会获得更多关注和点播,动态调整算法就会根据不同节目热度上升的幅度,将其从HDD硬盘迁移到NAND(闪存)固态盘;当热度继续上升,则会进一步迁移到DRAM内存中;而当视频热度减退,系统就会将其下沉至大容量HDD硬盘以节省宝贵的内存空间。
因此,对天翼云CDN节点缓存系统开展优化,需要在成本可控的范围内,一方面,对内存级缓存实施扩容,确保高热点数据获得性能加持;另一方面,对固态盘缓存进行性能升级,使其替代硬盘级缓存成为缓存加速主力,来提升天翼云CDN的整体性能。
此外,不同的业务场景对于CDN节点缓存系统的需求也有所不同。如图三所示,在体育赛事一类热门视频直播场景中,往往出现热点内容访问的聚集效应,视频内容会在一定时间内被观众反复请求,这就意味着大量热点数据会被长时间保留在最高缓存等级——内存级缓存中。而DRAM内存昂贵的单位容量价格,无疑让中国电信以及企业客户在扩容时面临巨大的成本压力。
在视频点播场景中,热点内容往往比较分散且热门时间较短,因此客户会更关注缓存系统的整体性能表现。这就需要固态盘级缓存的性能可与内存级缓存实现平滑过度。而传统NAND固态盘产品在时延性能上往往与DRAM内存有着上百倍的差距,这一巨大缺口需要一种全新的存储产品来予以填补。
图三 不同业务场景对CDN节点缓存系统的需求
另一项亟待开展的优化是提升CDN节点中的索引性能。当CDN节点出现断电、宕机等意外情况时,索引数据的恢复速度将直接影响CDN服务的连续性和可用性。因此,中国电信需要寻找一种兼顾性能、容量和非易失性的存储产品,来为索引服务提供更有力的性能保证。
借助英特尔®️ 傲腾™️ 产品组合,打造大容量、高性能CDN缓存系统
针对CDN节点缓存系统优化的不同需求,如图四所示,英特尔为其内存级和固态盘级缓存分别提供了英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘两种先进产品,帮助中国电信打造大容量、高性能的CDN节点缓存系统。
图四 依托英特尔®️ 傲腾™️ 产品组合实施CDN缓存系统升级
内存模式下的英特尔® 傲腾™ 持久内存,带来高性能、大容量的内存扩展
作为全新的内存产品,英特尔® 傲腾™ 持久内存基于创新的存储介质以及字节寻址能力,具备接近传统DRAM内存的性能。而在卓越的性能表现之外,如图五所示,英特尔® 傲腾™ 持久内存为客户提供了内存模式和App Direct(AD)模式两种不同的应用模式,应对不同业务场景中的需求。
图五 英特尔® 傲腾™ 持久内存的两种应用模式
内存模式下的英特尔® 傲腾™ 持久内存,能通过与DRAM内存的配合使用,以内存和存储的分层架构来优化工作负载的性能,从而帮助CDN节点中的内存级缓存在保持既有性能水平的前提下,以低成本的方式获得巨大的容量增幅。以本方案中验证的英特尔® 傲腾™ 持久内存100系列为例,其单模组容量最高可达512GB,在与DRAM内存进行组合后,可帮助缓存系统获得6TB的内存总容量。
而全新到来的英特尔® 傲腾™ 持久内存200系列,在继续提供512GB的单模组容量外,可与双路平台的第三代英特尔® 至强® 可扩展处理器相配合,在提供3200MT/S内存带宽的基础上,实现单颗CPU高达4TB的英特尔® 傲腾™ 持久内存容量,以及在双路服务器上8TB的内存总容量,可帮助天翼云CDN在应对大规模热门数据请求时更加游刃有余3。
英特尔® 傲腾™ 固态盘有效弥补高性能与大容量缓存间的缺口
一直以来,DRAM内存和NAND固态盘都在CDN节点缓存系统中充当高性能计算与大容量存储之间的性能缓冲区。随着缓存数据规模以及性能要求的不断提升,DRAM内存和NAND固态盘之间的性能差距也越来越大,甚至在一些场景中造成用户体验问题。
英特尔® 傲腾™ 固态盘是弥补这一性能缺口的良好选择。与传统NAND固态盘相比,方案中测试验证的英特尔® 傲腾™ 固态盘 P4800X表现出以下优势:
- 更强性能表现:可实现55万次的随机读取/写入IOPS性能,读取/写入延迟可低至10微秒;
- 更好的一致性:可在CDN的缓存加速工作负载中提供一致性表现,即产品能够始终运行在更低队列深度,从而保持性能最优;
- 更长使用寿命:得益于领先的存储介质与工作模式,英特尔® 傲腾™ 固态盘的使用寿命可比传统NAND固态盘延长数十倍4。
更值得一提的是,随着新一代英特尔® 傲腾™ 固态盘 P5800X的到来,其以全新的架构设计和性能升级,可以在以上几个维度中提供更强的性能表现。例如,其具备读写双通道,在任何工作负载下数据写入和读出的性能相互不影响,4K混合读写可以达到180万IOPS(基于PCIe 4.0)5。
优化方案性能验证,符合预期
为验证内存模式下的英特尔® 傲腾™ 持久内存与英特尔® 傲腾™ 固态盘的产品组合,为天翼云CDN节点缓存系统带来的存储性能提升,英特尔与中国电信一起开展了多方位的测试。
针对英特尔® 傲腾™ 持久内存的加速能力验证,方案启动了一个压力测试进程,如表二所示,QPS( Query Per Second,每秒请求数)设置为2600,内存命中算法配置为CLFUS,并采用了不同数据请求场景:
表二 英特尔® 傲腾™ 持久内存加速能力测试结果6
从测试结果可以看到,当测试文件量为300GB时,在内存模式下的英特尔® 傲腾™ 持久内存与DRAM内存的组合模式中,测试数据大多已被存储在英特尔® 傲腾™ 持久内存中,首字节平均时延和传输时延两项指标与纯DRAM内存模式不相上下。而当测试文件量为500GB时,纯DRAM内存模式已因容量受限而无法满足业务场景对延迟的要求,而此时内存模式下的英特尔® 傲腾™ 持久内存与DRAM内存的组合仍然有着满足中国电信预期的性能表现。
针对英特尔® 傲腾™ 固态盘的加速能力验证,如表三所示,方案同样也启动了一个压力测试进程,并就不同的QPS模拟请求1200个10M文件。
表三 英特尔® 傲腾™ 固态盘加速能力测试结国7
从测试结果可以看到,英特尔® 傲腾™ 固态盘在不同的QPS请求下都获得了良好的带宽表现;在整体时延以及首字节时延性能指标上,也符合中国电信的预期,堪为CDN节点优化缓存性能的绝佳选择。
依托英特尔® 傲腾™ 持久内存的大容量与持久性,打造更优索引能力
中国电信通常会将索引服务部署在天翼云CDN节点内存数据库,来为其服务提供高性能的索引能力。如图六左侧所示,当CDN节点出现断电、宕机等意外时,传统DRAM内存易失性的特点,使其需要从磁盘备份中重新读取索引文件。受限于索引文件数量、大小以及磁盘性能,这通常会带来数分钟的服务停顿,严重影响用户体验。
图六 部署在不同存储设备中的索引文件恢复方式
为有效解决这些问题,中国电信引入英特尔® 傲腾™ 持久内存,采用其AD模式,一方面为CDN节点提供高密度的内存容量,且保持卓越性能;另一方面如图六右侧所示,基于其持久性特征,保障系统即使发生断电或重启,数据仍会保留。
通过英特尔与中国电信一起开展的测试,有效证明了索引部署在AD模式下的英特尔® 傲腾™ 持久内存中时具有显著优势。测试显示,AD模式下的英特尔® 傲腾™ 持久内存与传统DRAM内存相比,各项性能差值均在中国电信的预期范围内;在中国电信最关注的索引恢复速度上,英特尔® 傲腾™ 持久内存加载耗时与传统模式相比,从220秒减少至12秒以内,下降幅度多达18倍以上8,大幅提升了CDN服务的连续性和可用性。
展望
5G时代的到来使视频点播、直播等互联网服务蓬勃发展,在为用户提供高品质服务体验的同时,也对CDN服务能力提出更高的要求。而中国电信与英特尔面向CDN节点缓存系统以及索引能力携手开展的优化,已被证明可以显著提升其服务效能,能够在有效控制成本的前提下,为视频点播、直播及其它互联网服务提供更强劲的高等级缓存加速能力,满足更多热点数据的分发加速需求。
面向未来,双方还计划在CDN服务等领域开展更多的交流合作与探索,例如将新一代英特尔® 傲腾™ 持久内存产品引入优化方案;以及进一步扩大固态盘级缓存的规模,引入更多NVMe英特尔® 固态盘产品来提升整体性能表现等,进而通过打造兼顾性能、成本和可用性的CDN服务,为用户提供更优的互联网体验。