解决方案的优势
- 敏捷性和灵活性。基于商用现货硬件来构建用户平面，而不产生硬件依赖性，意味着它的功能可在网络边缘或核心托管，或在类似云的基础设施中的任何位置托管。这样可以支持更多的应用，例如增强现实和虚拟现实，而这些应用很可能需要网络边缘的更多用户平面功能。资源可以根据需要进行扩展和收缩，以满足性能需求
- 智能。为网络接口卡增加智能，可以更简单地支持下一代网络，包括支持虚拟交换、租户隔离的叠加终端、更细致的负载均衡。
图 1. COTS 机架安装式服务器
实现 5G 所需的性能和敏捷性
当运营商为 5G 做准备时，有两点要求尤其重要：可满足新应用需求的网络能力；基础设施的灵活性和可扩展性。
移动用户期望使用最新和最强大的应用以及享受最高质量的语音和视频传输，这将对网络产生巨大的需求。5G 将实现广泛的新用例，包括超可靠和低延迟通信（URLLC）、增强移动宽带（eMBB）和海量机器类通信（mMTC）。其中一些用例将增加对带宽的需求（例如移动宽带），而其他一些用例则对延迟更加敏感（例如游戏）。
同时，无论是从技术还是经济上，升级网络中所有节点的专用硬件来处理这些新需求都是不可持续的。运营商采用了基于 NFV 的策略，使用在商用现货（COTS）服务器上运行的软件功能来取代专用硬件。使用标准硬件，可让资源根据需要专门针对每个功能进行扩展，让功能在类似云的基础设施中的任何位置托管。为了充分发挥潜力，NFV 要求在 NFV 基础设施和虚拟网络功能（VNF）之间不存在硬件依赖性。这样可以实现实时迁移和最佳可扩展性。
截至 2014 年，SK 电讯已经对整个移动分组核心网实现虚拟化，包括移动性管理实体（MME）、服务网关（SGW）和分组数据网络网关（PGW），这让该公司能够降低总体拥有成本（TCO），提高部署灵活性。此后，核心网络中的很多新旧设备都已迁移至虚拟网络功能（VNF），包括 IP 多媒体子系统（IMS）、增值系统（VAS）和管理系统，这些系统实现了虚拟化，并且集成到管理和编排（MANO）系统中。
为了达到必要的性能，该公司的实施基于单根输入/输出虚拟化（SR-IOV）和 PCI 直通（PCI-PT）。这使 VNF 能够直接访问链接到物理网络设备的虚拟网络设备，绕过系统管理程序。虽然比使用半虚拟化驱动器的速度要快，但这样会形成硬件和软件依赖性，破坏 NFV 类似云的模型。这种方式只能在类似设备的部署中使用。
图 2. 虚拟 EPC 系统的典型负载分布，其中的特定用户设备的数据包可能由不同的虚拟机或服务器来进行处理
该公司面临的挑战是在虚拟化用户平面中实现类似云的灵活性，同时达到能够满足 5G 需求的吞吐量级别。此类系统有助于提高效率，帮助网络为满足未来需求做好准备。
解决方案价值：提供高性能虚拟化用户平面
英特尔和 SK 电讯携手合作，研究如何能够在标准硬件上实现虚拟化移动演进分组核心网（vEPC），以满足 5G 对性能和可扩展性的需求。我们使用硬件辅助的网络接口卡来消除用户平面瓶颈，实现更好的网络利用，包括支持叠加网络。该解决方案基于英特尔® 至强® 铂金 8180 处理器，该处理器有 28 个内核和 56 个超线程，实现了所需的性能水平和虚拟机密度。
本文中描述的实施方案在单个双路服务器上达到了超过 200 Gbps 的吞吐量，包括在四种不同的用户流量模式1。研究测出的延迟大约为 70 微秒1，CPU 利用率大约为 60%1。图 1 显示了机架安装式服务器的照片。
此原型实施方案证明，可以使用标准服务器达到满足 5G 需求的性能水平，并且仍然保持 NFV 的灵活性和敏捷性，而不形成硬件和软件依赖性。在测试中使用的服务器具有高度的可扩展性和灵活性，能够部署在基础设施的核心或边缘。
解决方案架构：虚拟化用户平面
用户平面功能（UPF）负责执行无线接入网络（RAN）和数据网络（例如互联网）之间的数据包处理。UPF 包括了各个功能的渠道，例如用于接入控制、隧道封装和解封装、路由、服务质量和充电的功能。此外，运营商可能需要自定义或添加自有的功能，以满足不同的用例或法规要求。
在实施 UPF 流水线方面，有多种不同的选项。英特尔和 SK 电讯使用基于软件的方法，一个数据包的整个流水线都在处理器的同一个 Worker 内核（或线程）上执行，然后按照相同方式处理下一个数据包。这种“运行至完成”（RTC）的方法改进了延迟和吞吐量，因为频繁使用的数据（例如用户上下文）可以存储在与内核关联的缓存中。使用基于软件的方法，可提供最高程度的灵活性，以便我们为流水线修改或添加功能。基于软件的方法还让我们能够使用标准硬件来部署 UPF 功能，包括在网络的边缘或核心进行部署。由于软件独立于底层平台硬件，因此硬件可以向外扩展以提高性能。
UPF 服务器通常在一个或多个虚拟机（VM）或容器上运行。这样流量就能够在服务器之间均匀分配。在不太理想的部署中，这可能导致特定移动设备的流量在服务器上的不同虚拟机或容器上进行处理，更糟糕的情况是在不同服务器上进行处理，如图 2 所示。结果是必须从控制平面提取更多上下文信息，才能成功处理数据包，而这会增加延迟。在检查数据精确性时，这也会导致出现延迟，因为它要求数据在多个虚拟机之间进行管理。这种方法还意味着无法维持数据包的顺序，导致应用层的重新传输。
英特尔和 SK 电讯提供了一个首创的解决方案，可将特定用户设备的所有数据包都定向到同一个 Worker 内核。硬件辅助的 NIC 使用散列将数据包定向到正确的 Worker 内核。为此，它们从内部 IP 数据包提取正确的字段，主要是标识用户设备的 Src-IP 地址。对于 S1-U（移动网络端）和 SGi（互联网端）接口上的入口流量，都实施了这种将数据包定向到内核的方法。这样可以维持数据包顺序，帮助优化吞吐量。我们使用数据平面开发套件（DPDK）来加快数据包从 NIC 到 Worker 内核的传输。
图 3. 用户平面处理渠道
与使用没有嵌入式智能的 NIC 相比，硬件辅助的 NIC（例如基于 FPGA）具有诸多优点：
- 散列：为了在散列中达到更高的粒度，并确保数据包按顺序进行处理，必须提取数据包内部的信息以识别用户设备，而不仅是识别由数据包的标头指示的源基站。大多数 NIC，包括基于 OpenFlow 的 SmartNIC，不具备在 GTP 隧道内部进行分析的能力。可对硬件辅助的 NIC 进行配置，在外部标头和内部 GTP 隧道上都进行分析，而不需要基于软件的负载均衡器内核，使得 Worker 内核能够随着性能要求提高呈线性扩展。
- 网络叠加：网络叠加提供了一种方式，用于创建能够在同一个物理网络上共存的多个虚拟网络。两种最常见的网络叠加隧道协议是 VxLAN 和 NVGRE。在硬件辅助的 NIC 中，可以实施 VxLAN 叠加的隧道端点功能，包括完整的封装/解封装。在测试设置中，每个虚拟机都被视为自身虚拟网络的一部分。根据部署和 VNF 设计，也可以考虑其他的映射机制。
- 虚拟交换：当共置在物理服务器上时（例如控制平面和用户平面虚拟机），这种机制用于虚拟机内部的交互。它还可以协助部署、编排和管理 NFV 平台上的虚拟机。很多情况下，虚拟交换仅在软件中执行。加快 NIC 中的部分或全部虚拟交换，可以减少软件开销，特别是在查询及执行封装和地址转换等操作方面。
- IPSec 终端：IPSec 或同等形式的传输安全技术在网络上的应用非常普遍，旨在确保虚拟网络之间的隔离，特别是在多租户环境中。在硬件辅助的 NIC 中实施 IPSec 具有两大优势。首先，所需要的 CPU 周期数相对较少，硬件实施方案能够减少所需的总 CPU 内核数。再者，NIC 中的 IPSec 实施方案允许对解密数据包进行内嵌数据库处理，实现对解密数据包的基于硬件的负载均衡/分配功能。
在原型实施中，CPU 子系统包括基于 Linux* 的主机操作系统，运行 KVM 系统管理程序，用户平面虚拟机部署在该操作系统上。每个相同的虚拟机运行多个用户平面线程。每个用户平面线程执行完整的流水线实例，如图 3 所示。
图 4. 虚拟机映射到双路服务器的物理和逻辑内核
图 4 显示虚拟机和监控活动如何在服务器的 56 个逻辑内核之间分配。每个虚拟机配置了一个 25 GbE 接口，因此系统上总共有十个 25 GbE 端口。用于原型实施的 LTE EPC 堆栈基于来自 ASTRI 的商用实施方案。此软件堆栈包括 MME、SGW 和 PGW 功能。
图 5 显示硬件平台是基于英特尔® 至强® 铂金 8180 处理器的双路服务器。十个虚拟机在两个 CPU 上托管，虚拟 CPU 线程关联到特定逻辑内核。
虚拟机监控活动在少量逻辑和物理内核上共享，以减少数据包损失以及控制平面/用户平面交互。我们还执行了很多平台优化，包括关闭未使用内核的电源，根据需要以最少的服务和内核配置来启动虚拟机。每个虚拟机的内存都从预先分析的 1G 庞大内存页配置，以保证物理上连续的内存。虚拟机的资源都在 CPU 上，便于充分利用 CPU 缓存和本地内存通道带宽。
图 5. 受测试设备的平台规格
图 6. 基准测试设置
图 6 显示了设置的整体结构，用于产生各种流量模式，以便测量性能和延迟。为了测量系统的性能和延迟，我们使用了 Spirent Landslide* 系统来模拟 eNodeB 和移动用户。运行用户平面的受测试设备（DUT）通过以太网交换机，与流量生成器（发送端、接受端）和控制平面功能（SGW-C/PGW-C、MME）互连。
性能结果
根据所测量的数据包分配和吞吐量数据，以及对未来 5G 要求的预测，我们选择了以下四种流量模式来进行测试：
- 流量模式 1（4.2 — 5.7）：42.5% 的上行链路吞吐量，57.5% 的下行链路吞吐量
- 流量模式 2（4.0 — 6.0）：40% 的上行链路吞吐量，60% 的下行链路吞吐量
- 流量模式 3（2.5 — 7.5）：25% 的上行链路吞吐量，75% 的下行链路吞吐量
- 流量模式 4（1.0 — 9.0）：10% 的上行链路吞吐量，90% 的下行链路吞吐量
图 7 显示了上行链路和下行链路数据包以及吞吐量的分配。
图 7. 所分析的每个流量模式的数据包传输速率（左）和比特率吞吐量（右）
图 8. 用户平面 Worker 内核的使用情况及测量的吞吐量（左），以及针对每种流量模式测量的内核利用率百分比（右）
图 8 中的图表显示了所考虑的每种场景的数据包吞吐量和整体系统级吞吐量。系统是在 2017 年 9 月实施的，与概念验证相关的所有性能验证都在 2017 年 10 月执行和完成。如图所示，我们对超过 200 Gbps 的吞吐量进行了持续测量，数据包速率在每秒 3000 万至 4200 万个数据包之间1。图表还显示用户平面 Worker 内核上的 CPU 占用率在 52% 至 66% 之间。受测试系统共有 56 个内核（2 个处理器），其中 40 个内核用作用户平面 Worker 内核。用户平面处理内核上有很大的裕量（大约 40%），同时最大程度地减少了主机操作系统和虚拟机监控内核的使用。
此外，十个未分配于用户平面处理的内核是完全空闲的，因此它们可用于其他系统功能，例如增值服务和全主动冗余机制。
SK 电讯网络技术研发中心的核心网络实验室主管 JoongGun Park 表示：“我们目前的电信数据中心必须提高效率。我们一直在努力加快虚拟化环境中的用户平面数据包处理速度。与英特尔合作开展的这项研究非常重要，因为我们能够透彻地分析 3GPP 指定的用户平面模块，并为具有不同资源拓扑的不同数据包大小建模。这项研究为我们使用最佳软件和硬件配置进行重复实施，从而为开发新架构奠定了基础。”
他补充说：“1U 机架安装式概念验证服务器精心设计的用户平面功能可以处理 200 Gbps 以上的流量，这是一个非常令人惊讶的结果。这主要归功于英特尔和 SK 电讯在各个商用移动流量模式和 5G 服务模式上进行了严格的测试和验证。”
结论
电信行业正在为即将产生更高流量的早期 5G 服务做准备，移动分组核心网系统预期将会承载大量的用户平面负载，因此它们必须能够进行扩展，高效运行 5G 用例，例如 eMBB、URLLC、mMTC。
本解决方案简介展示了一种适用于用户平面功能（UPF）的新架构，阐述了如何结合使用软件和 COTS 硬件，以及硬件辅助的 NIC，来提供用户平面虚拟化所需的性能。Park 表示：“通过与英特尔合作，我们能够验证先进的 NIC 技术，用于协助进行数据包处理，例如为智能负载均衡和数据包转发降低负载。”
我们可以实现这样的性能，而不影响硬件独立性，这对于实现 5G 网络扩展和创新所需的灵活性和敏捷性至关重要。
经同行认可的解决方案
英特尔解决方案架构师是技术专家，与世界上最大最成功的公司合作，设计能够解决紧迫业务挑战的业务解决方案。这些解决方案的基础是从客户那里收集的现实世界的经验，这些客户在特定业务用例中成功测试、试用和/或部署了这些解决方案。参与该解决方案简介编写的解决方案架构师和技术专家已在封面上列出。
寻找适合贵公司的解决方案。请联系您的英特尔代表或访问 https://www.intel.cn/content/www/cn/zh/communications/communications-overview.html。
了解更多信息
- 白皮书：实现 5G 移动分组核心网的用户平面功能的高性能
- 英特尔® 至强® 铂金 8180 处理器
- 数据平面开发包（DPDK）
- ASTRI