英特尔内存革新强化实时数据处理,助力智能制造

宁德时代导入搭配英特尔® 傲腾™ 持久内存的英特尔® 至强® 可扩展平台,消除了数字化生产流程的存储瓶颈,为保证产线长时间高效运转和扩大产能奠定了基石。

引言:

  • “作为我们产线智能制造系统的‘中枢神经’,MES 的性能提升无疑是我们提高生产效率、加大产能的关键。英特尔® 傲腾™ 持久内存的引入,帮助 MES 消除了多个性能瓶颈,相当于在我们智能制造的‘中枢神经’中构建起了更强韧的‘神经键’,为我们未来生产和业务规模的持续扩大奠定了更坚实的基础。”

    ——赖腾飞,流程 IT 架构与解决方案部经理,宁德时代新能源科技股份有限公司。

  • 了解更多基于英特尔® 架构的数据分析实践

  • 了解英特尔® 至强® 产品组合的优势

author-image

作者

作为全球领先、中国知名的新能源研发和制造企业,宁德时代新能源科技股份有限公司 (以下简称“宁德时代”) 一直在通过向数字化、智能化制造持续演进的策略来提升生产效率。作为这一策略的重要实践,其基于 SAP HANA 高性能内存数据库的制造执行系统 (Manufacturing Execution System,以下简称 MES) 承担起了实时产线数据采集、生产质量管理等关键职责。随着产能压力不断增加,该系统的处理时延、可靠性也面临新挑战。为此,宁德时代亟需引入更为高效的数据处理和存储方案来提升其 MES 基础设施的性能。

通过与英特尔开展深层次技术合作,宁德时代导入以第二代英特尔® 至强® 可扩展处理器为核心的全新至强® 可扩展平台,作为应对上述挑战的解决方案。该平台不但具备可大幅提升计算性能的处理器,更搭载有颠覆了传统内存和存储架构,在性能上接近 DRAM 内存,并拥有更优成本和容量表现,且能实现数据持久性的英特尔® 傲腾™ 持久内存。宁德时代将这一平台用作支撑 MES 核心内存数据库的全新基石,不仅能有效消除该数据库在高并发 I/O 操作时,海量临时文件需要快速与磁盘进行交互操作所面临的性能瓶颈,更可帮助整个系统大幅缩短重启时间和主备机切换时间,从而确保宁德时代的产线能长时间高效运转,并助力其产能实现进一步扩展,最终巩固宁德时代在能源行业和智能制造领域的领先优势。

宁德时代获得的解决方案优势:

• App Direct 模式的英特尔® 傲腾™ 持久内存,能助力宁德时代 MES 有效缩减内存数据库与持久存储介质之间执行 Data Merge、Save Point 等操作时的“落盘”时间,提升系统整体性能;

• App Direct 模式的英特尔® 傲腾™ 持久内存可凭借数据非易失的优势,加速基于内存数据库的 MES 的重启速度,尽可能减少产线的停顿时间;

• 内存模式的英特尔® 傲腾™ 持久内存可用作宁德时代 MES 中内存数据库备机的扩展内存,从而缩短 MES 主备机切换时间,保障系统的高可靠性。

新能源+智能制造的双料模范

作为全球新能源科技行业和智能制造领域的标杆企业,宁德时代正以先进的动力电池技术,为绿色交通和清洁能源提供高效解决方案,并赢得广泛赞誉。仅在 2018 年,它就同时跻身福布斯中国“2018 中国最具创新力企业”榜单,并现身央视《大国重器Ⅱ· 能源篇》。

如此令人艳羡的成就背后,是宁德时代的竞争力之本——看得见的雄厚技术研发和生产能力,以及更偏幕后的、专为智能制造而建设的强大信息化系统。以其核心的电芯生产线为例,如图一所示,它自上而下,通过 ERP、MES、过程控制管理以及电芯生产控制网络等一系列系统和平台的构建,实现了自动化、信息化和智能化的制造全流程。其中的 MES,与电芯产线数十个工艺流程中 3,000 余个品质与安全控制因子数据密切关联,可快速精准地采集这些源自产线的实时数据,形成控制、管理和分析能力,进而实现生产、质量、批次、追溯等一系列的管理功能。

为了确保 MES 拥有足够的实时数据处理能力,宁德时代早在数年前,就开始引入各种高性能 OLTP (On-Line Transaction Processing,联机事务处理) 数据库、尤其是内存数据库方案作为 MES 的强力支撑。随着旗下的新能源产品不断获得市场认可,业务的高速发展也对产能提出了更高要求,给出了更大压力,对数据处理的高性能、低时延的需求也越来越迫切。在这种态势下,宁德时代经过分析估算,得出了“需要在短时期内再将产能提升 50%,才能满足市场需求”的结论1。这种产能的大幅提升,也意味着各个生产环节留给 IT 系统的处理时间窗口变得更小。数据测算也表明,这需要宁德时代的 IT 系统在 3 秒内完成所有操作,包括产线流向判断、产品质量判别等等,而其中留给后台数据库的操作时间只有短短的 100 毫秒2

性能的提升,或者说操作时延的缩短只是宁德时代核心数据库面临的挑战之一,可靠性是它另一个需要重点关切的指标。毕竟,该系统面临着实实在在的海量数据处理的挑战,其每日单表会新增 1 亿 - 2 亿条记录,而所有表每日新增条目超过 10 亿条,同时计算量超过百亿条。超短的处理时延与海量的计算和存储压力叠加,再考虑到关键数据不容有失,这就对 MES 的基础设施性能和可靠性都提出了非常严苛的挑战,宁德时代亟需为之引入更先进、更适配内存数据库特点和需求的数据处理及存储方案。

在明晰了上述需求与挑战后,宁德时代与英特尔开展了一系列深入技术合作,以求将英特尔前沿的产品和技术转化为解决问题的良方。从计算和存储两个维度综合考虑,宁德时代最终选择了基于第二代英特尔® 至强® 可扩展处理器并搭配有英特尔® 傲腾™ 持久内存的至强® 可扩展平台。该平台的核心——英特尔® 至强® 铂金 8280 处理器不仅具备 2.70 GHz 的主频及多达 38.5MB 的高速缓存,以及 28 个核心、56 个线程和多达 3 路的超级通道连接 (Ultra Path Interconnect,UPI),来为内存数据库提供更相匹配的、强劲的并行计算能力,它还支持多达 6 个高速内存通道,可与包括 DRAM 和傲腾™ 持久内存在内的内存子系统实现高效通信,从而可帮助基于内存数据库的 MES 在性能上获得突破性的提升。

傲腾™ 持久内存成功破解 MES 存储瓶颈

宁德时代选中的新平台所拥有的性能和功能潜力无疑很是诱人,但它们又是如何发挥作用的呢?这就要从宁德时代 MES 采用的高性能内存数据库——SAP HANA 说起。该内存数据库要提升性能,需要克服的主要瓶颈就是转换操作的效率,这是因为它通常是以列式存储的方式来存放数据,但当 MES 执行 OLTP 分析时,行式存储更有助于分析效率的提升,因此,该内存数据库与磁盘数据库之间就需要经常执行各类交互操作来完成行、列转换,日志数据同步等工作。执行这些操作时,相关的内存和磁盘数据库都必须保持“HOLD”状态来暂停工作。也就是说,这些涉及“临时数据落盘”的操作的执行时间越短,对系统影响就越小,对性能提升的贡献也就越大。

图一 与宁德时代电芯生产线配套的数字化、智能化制造系统

同时,为了避免因断电等突发事件带来的数据丢失,宁德时代的 MES 还会每五分钟使用 Save Point 功能将内存数据库中的全量数据存储到磁盘数据库中。此外,出于电芯生产的严格规范,以及系统恢复的需要,宁德时代也会将产线的海量日志予以留存,实时存储到磁盘数据库中。

图二 缩短“落盘”时长有助于提升系统整体性能

对于宁德时代的 MES 而言,上述这些操作都具有较高优先级且需要保证强一致性,因此不免会造成操作之间的互斥性,例如该系统在执行 Data Merge 时,Save Point 功能就需要进入等待队列,造成系统整体性能难以提升。要减少这一状况,如图二所示,最好的方法就是加快系统的 “落盘” 速度。

由于宁德时代 MES 采用的 SAP HANA 内存数据库是基于全 DRAM 内存构建,而磁盘数据库通常是部署在基于 NAND 存储介质的 NVMe、SAS 高速固态盘上,后者的存储时延往往是前者的上千倍,因此,当数据在内存数据库和磁盘数据库之间转移时,固态盘在 I/O 性能上的差距,就限制了 MES 性能的进一步提升。为此,宁德时代需要为 MES 寻找一种性能上更接近 DRAM 内存的存储产品。

基于创新的 3D XPoint™ 存储介质构建、为传统的内存和存储架构带来了重大变革的英特尔® 傲腾™ 持久内存,就是宁德时代亟需的对症良方,其独特的介质技术可使其速度达到远超传统 NAND 介质固态盘的水准,加上先进的系统内存控制器、接口硬件和软件技术的加持,使它在低延迟、高 I/O 以及高稳定性等方面都有着优异表现。在不同应用场景中,既可设置为内存模式,来为系统提供更大容量、更低成本的数据易失型内存,也可采用 App Direct 模式,用来构建有更大容量且兼具数据持久性的内存池。

图三 不同存储设备的访问延迟3

从图三可以看出,英特尔® 傲腾™ 持久内存在访问延迟等关键性能指标上,已与 DRAM 内存实现了衔接,但在容量和数据持久性,或者说是非易失性上,又远非传统 DRAM 内存可以比拟。这意味着,当宁德时代 MES 采用 App Direct 模式的英特尔® 傲腾™ 持久内存作为磁盘存储载体时,在执行 Data Merge、Save Point 以及日志存储时就可以大幅缩短“落盘”的耗时,大大提升 MES 的系统整体效能。

同时,傲腾™ 持久内存所具备的数据持久性,也使宁德时代 MES 的重启时间得以显著压缩。MES 每次进行升级更新前,都需要先将内存数据库中的 TB 量级数据存入到磁盘中,升级更新完成后再把这些数据从磁盘读回内存。在此前未配备傲腾™持久内存时,这一流程往往需要耗时数十分钟之久,也意味着生产会有较长时间的停顿。而在导入傲腾™持久内存后,这一时长已缩短至 5-10 分钟4,使得产线只需借用正常换班时间即可高效实现 MES 的升级更新。

为提升系统的可靠性,宁德时代的 MES 还构建了完备的主备机机制,来防止因断电、宕机等意外情况造成生产中断。此前主备切换也需要数十分钟才能完成,而今,通过引入英特尔® 傲腾™ 持久内存,并将其配置为内存模式,然后用作备机 (Standby Host) 的扩展内存,也使备机能借助更大的内存容量来承载更多的 I/O 加强型工作负载,从而大大加快切换速度。

贴近生产环境的实测:新方案性能显著提升

为验证全新至强® 可扩展平台,尤其是其中的傲腾™ 持久内存对于宁德时代所用内存数据库的增益,宁德时代在英特尔的支持下,基于其实验数据对这一新产品在 Data Merge、Save Point 以及系统重启等场景中的性能表现进行了评估,为宁德时代未来业务规模持续扩大的情况下 MES 的架构部署和产品选择,提供了真实有效的数据支撑。

为使测试更贴近真实使用场景,宁德时代基于现有产线运行环境,精心设计了测试流程和压力模型。测试模拟电芯产量部署了 2 台前端应用服务器,每台 20 个并发客户端,每个并发之间设置 100ms 延迟,并模拟了数据库增、删、改等复合操作。

通过在不同场景中的测试,双方对英特尔® 傲腾™ 持久内存在基于内存数据库的 MES 中的性能表现进行了充分评估。以 Data Merge 测试为例,如图四所示,归一化后的结果对比显示,采用英特尔® 傲腾™ 持久内存的方案比采用传统 SAS 高速固态盘的方案,在性能上提升高达 6.20 倍5,这意味着 MES 的落盘时间可以显著缩短,因各个操作互斥等待而造成系统停顿的概率也会大为降低。

图四 归一化后的 Data Merge 性能测试结果对比

结语与展望

围绕新一代至强® 可扩展平台,尤其是其中的“新星”——英特尔® 傲腾™ 持久内存开展的协作,为宁德时代和英特尔之间以智能制造为主题的长期战略合作创造了一个良好的开局。这款创新型内存产品通过了考验,已被证明可帮助宁德时代 MES 消除此前多个因磁盘性能不足而带来的系统瓶颈,可以从 IT 基础设施创新的角度为宁德时代的产能提升做出至关重要的贡献。

接下来,宁德时代还计划将英特尔® 傲腾™ 持久内存引入其高性能离线分析系统,使其生产报表在数秒内就可从海量历史数据中获取相关信息,以实现更加高效的决策分析能力。同时,宁德时代也在考虑如何充分利用英特尔® 至强® 可扩展平台集成的 AI 加速能力,在产品缺陷检测等环节实现 AI 应用的落地,从而在数字化、自动化之外,为制造增添更多智能化的“基因”。