英特尔助力京东云,打造面向可持续数据中心的冷板液冷解决方案

简介

  • 通过部署冷板液冷整体解决方案,英特尔助力京东云自建数据中心实现数据中心 PUE 降至 1.1,每个 14KW 机柜每年节电 31,031 度,每个 14KW 机柜每年碳减排 24.4 吨。

author-image

作者

到 2025 年,重点工业行业能效全面提升,数据中心等重点领域能效明显提升,绿色低碳能源利用比例显著提高,节能提效进一步成为绿色低碳的 “第一能源” 和降耗减碳的首要举措,新建大型、超大型数据中心电能利用效率 (PUE)优于 1.3。
《工业能效提升行动计划》1

数据中心能耗持续增长,液冷散热比风冷更具优势


现代化高密度数据中心,不断提升的整体功耗给散热效率、节能减排、运营成本等带来了极大挑战。相比传统的空气冷却方案,液体冷却(液冷)有着更高的冷却效率与能源效率:
 

  • 热量能够在更靠近其来源的地方与液冷介质进行交换;
  • 同体积的传热介质,冷却剂传递热量的速度是空气的 6 倍,蓄热量是空气的 1000 倍2
  • 冷却液传热次数更少,容量衰减更小,可更有效降低 XPU 等关键组件的运行温度及性能损失。

高密度工作负载计算能力需求不断提升,京东云面向 XPU 的冷却系统设计遭遇挑战

 

  • 芯片整体 TDP 随性能增加而增加,2013 年京东云 x86 处理器典型 TDP2 为 105瓦,2022 年为 350 瓦;
  • CPU 漏电功率随温度升高而增加,占用更多功率预算,冷却系统要帮助将热阻降低到典型范围2:0.3-0.5c/w;
  • 液冷与风冷在设计上有较大差异,在效率、稳定性、经济性等方面还有很多优化空间。

面向可持续数据中心的京东云冷板液冷参考解决方案


京东云冷板液冷解决方案是从数据中心级到系统级的整体方案,涵盖 CDU、机架、服务器等不同层级的产品与技术,在 CDU、工作液、歧管、服务器等方面进行了针对性的设计。

CDU

在整体液冷解决方案中,CDU 必须具有泵、热交换器、过滤器、补水系统、变频器、监视器功能(如温度和压力传感器)和其他组件。

工作液:

一次回路侧选择去离子水+乙二醇作为工作流体,去离子水有低电阻特性,乙二醇确保流体在低环境温度下冻结而导致管道破裂的低风险。二次回路选择纯去离子水以提高热性能。

歧管:

安装在机架上的歧管将冷流体分配到每个服务器节点,在歧管顶部的快速连接器可方便机架部署;歧管底端设计了手动排污口,方便系统排水维护。

服务器:

服务器液冷方案主要由冷板、管路、快速接头和检漏线组成。单相冷板供液温度范围为 40~45°C,工作液兼容乙二醇溶液(去离子水)。为防范液体泄露,京东云采用检漏线包裹液冷系统,特别是在冷板和管路接头处,确保漏液情况下及时报告并启动漏液应急措施。

第三代英特尔® 至强® 可扩展平台助力京东云服务器液冷设计


第三代英特尔® 至强® 可扩展处理器2
 

 -  提供 8 个插槽配置的多插槽内核计数密度;

 -  性能、吞吐量和 CPU 频率显著提升;

 -  内置 AI 加速功能,提供无缝性能基础,加快多云、智能边缘和后端等数据的变革性影响。

京东云已于 2021 年第二季度在数据中心部署了冷板液冷解决方案,采用了基于第三代英特尔® 至强® 可扩展处理器的定制化服务器,调整了核心数、基础和 Turbo 频率、TDP、RAS 特性、T机箱等主要参数,以适配其可持续的液冷数据中心。

实际工程部署结束,京东云冷板液冷方案优势显著


通过部署冷板液冷整体解决方案,京东云自建数据中心实现2:
 

  • 数据中心 PUE 降至 1.1
  • 每个 14KW 机柜每年节电 31,031 度;
  • 每个 14KW 机柜每年碳减排 24.4 吨。

持续携手技术创新,推动绿色中心建设


英特尔与京东云等业界上下游生态伙伴将持续合作,围绕电源设计、冷却技术等构建行业标准,降低实施成本,结合中国市场特点,以助力提升能效、降低 PUE,进而推动先进绿色数据中心建设,实现绿色节能发展。