利用英特尔® 傲腾™ 持久内存提升可扩展性并加速元数据搜索

横向扩展对象存储可保存数据,而英特尔® 傲腾™ 持久性内存可保留告诉缓存以提高性能。

简介

  • PhoenixNAP 是一家全球IT服务提供商,提供云,专门服务器,托管和基础设施及服务(IaaS)技术解决方案。

  • 现在公司可以使用 phoenixNAP Elasticsearch * 服务将其数据存储在横向扩展对象存储中,而不是存储在内存中,并在英特尔® 傲腾™ 持久内存中保留高速缓存,以提高性能。

author-image

作者

数据中心和不断增加的互联设备催生出大量元数据。广大企业需要一种高效的元数据存储和搜索方法,以便有效管理基础设施、检测安全漏洞。使用 phoenixNAP Elasticsearch* Service 后,企业可将数据存储在横向扩展的对象存储而非内存中,并将英特尔® 傲腾™ 持久内存用作缓存以提高性能。

挑战

  • 虽然存储和分析日益增多的元数据可能充满挑战,但这对管理 IT 资产和保障安全却必不可少。
  • 日志可能分布在不同的云平台上,导致难以构建特定事件或用户轨迹的整体图景。
  • 虽然 Elasticsearch 为此提供了解决方案,但是由于需要持续管理集群,而且通常要将数据保存在闪存中,因此在数据量不断增加的情况下,这种做法的成本会过于高昂。

解决方案

  • 借助 phoenixNAP Elasticsearch Service,企业可以轻松部署Elasticsearch,对存储在不同云位置的数据进行搜索。
  • 该服务利用 Vizion.AI 的技术,可将高性价比的对象存储用于处理 90% 的数据。
  • 其余的 10% 是最热数据的缓存,存储在英特尔® 傲腾™ 持久内存中,提供接近内存速度和高性价比的大容量存储。

结果

  • 与将解决方案托管在超大规模云环境中相比,通过将英特尔® 傲腾™ 持久内存用作缓存,延迟降低了 80%,索引速度提高了 3 倍1
  • phoenixNAP 客户现在无需验证新提供商的数据主权,即可对存储在 phoenixNAP 数据中心内的元数据进行分析。
  • 云服务提供商 (CSP) 也可以将该服务出售给需要简化元数据利用方式的新客户。

管理大量元数据
根据 IDC 的研究,到 2025 年,物联网 (IoT) 每年将产生 79.4 ZB 的数据2,也就是约 794 亿 TB 的数据。用户使用的所有数据都伴随着元数据:元数据是关于数据的数据,如日志。在数据增长 的过程中,元数据会发挥重要作用,并且需要进行管理和分析。而这将加剧企业已经面临的问题:包括服务器和应用在内的许多数字资产正在生成大量日志,必须加以分析才能更好地管理 IT 事务,保障安全。

这些日志可能分布在不同的云平台上,查找任何单个数据点都可能需要搜索大量数据。通常情况下,多个数据点需要建立关联。例如,如果发生安全事件,企业可能需要搜索特定时间段内的所有日志以迅速追踪用户的活动轨迹。而搜索耗费的时间越长,对于企业的风险就越大。

因此,许多公司希望云原生平台不仅能让他们存储不断增加的元数据日志,而且还能对它们进行搜索和分析。Elasticsearch 就是这样一种开源搜索引擎,但是它通常要求将数据存储在闪存介质中。随着数据量的增长,这种存储方式的成本最终会超出企业的承受能力。此外,Elasticsearch 的部署和管理要求较高。客户可能需要启动六个虚拟机才能获取第一批数据;另外,他们还需要随时关注数据量,以便在存储空间不足时删除数据或扩展集群。

将数据放入超大规模云环境或许能降低成本,但仍需用户持续进行集群管理,并且无法利用低成本的对象存储。

当前,云客户正在寻找一种能够克服这些局限的解决方案,以便轻松、快速地分析元数据,同时利用开源软件的经济优势。

phoenixNAP Elasticsearch* Service 简介
云服务提供商 phoenixNAP 与 Vizion.AI 及英特尔联合推出了 phoenixNAP Elasticsearch Service。该服务可帮助企业轻松部 署 Elasticsearch,对多云环境中的数据进行分析。只有最热的 10% 数据需要存储在快速存储介质,其余的 90% 可以保存在使用对象存储的云中,而 Vizion.AI 解决方案负责压缩、去重、加密以及往返云的传输。与将大量元数据保存在闪存中相比,使用云存储可以大幅降低成本。

客户只需通过门户网站订购解决方案,就能自动完成设置和管理,从而解决了 Elasticsearch 的使用痛点。因为这一解决方案基于微服务而不是托管基础设施池,所以客户不再需要监控其数据量。后端的对象存储可以进行扩展以容纳传入的数据。

图 1 显示了这一解决方案的简化架构。客户的工作负载在容器中运行,并使用 Kubernetes* 进行编排。由于基础设施在数百个客户之间共享,因此与建立自己的 Elasticsearch 集群的公司相比,规模经济优势非常明显。

图 1. phoenixNAP Elasticsearch* Service 使对象存储可用于元数据的横向扩展存储,并可使用 Elasticsearch 对数据进行搜索和 分析。解决方案基于第二代英特尔® 至强® 可扩展处理器家族和英特尔® 傲腾™ 持久内存。

Vizion.AI 的母公司 Panzura* 提供了一个中间层,可以在数据中心存储协议和云原生对象存储之间进行转换。这使运行在数据中心的 Elasticsearch(和其他应用)无需修改即可访问云存储,而 内存中的缓存则有助于实现高性能。

底层服务器硬件由配备英特尔® 傲腾™ 持久内存的第二代英特尔® 至强® 可扩展处理器家族提供支持。英特尔® 傲腾™ 持久内存的运 用使云服务提供商能够获得高性价比大容量存储能力以及接近内存的性能。其物理外形与 DRAM 兼容,并可插入相同的 DIMM 插槽中。其作用是用于缓存最热的 10% 数据。

“英特尔® 傲腾™ 持久内存的优势在于它不会影响应用的部署。如果从 Kubernetes 的角度来看,持久内存就像是另一种存储资源。其效果立竿见影,且无需更改任何代码。另外,与使用超大规模云提供商的服务相比,借助英特尔® 傲腾™ 持久内存来加速我们的解决方案还能让我们做到低本高效。”----- Vizion.AI 副总裁兼总经理 Geoff Tudor

虚拟化层基于支持英特尔® 傲腾™ 持久内存的 VMware vSphere* 6.7。

Vizion.AI 对使用持久内存的基础设施进行性能测试,并将结果与其在公有云服务中运行的软件的性能进行了比较。结果发现,在创建文档索引和文档数字化方面,phoenixNAP 实现方案的速度要快 3 倍1。与此同时,延迟也减少了 80%,这对于使用已确定的问题来实时触发事件响应非常重要1

“英特尔® 傲腾™ 持久内存的优势在于它不会影响应用的部署。如果从 Kubernetes 的角度来看,持久内存就像是另一种存储资源。其效果立竿见影,且无需更改任何代码。另外,与使用超大规模云提供商的服务相比,借助英特尔® 傲腾™ 持久内存来加速我们的解决方案还能让我们做到低本高效。”----- Vizion.AI 副总裁兼总经理 Geoff Tudor

通过在每台服务器上部署数百个客户的容器,新内容的索引速度得到提高、实时搜索延迟得以降低,因而能够避免服务器争用并改善客户体验。

与英特尔紧密协作
英特尔与 phoenixNAP 保持着密切的合作关系,包括帮助 phoenixNAP 开发和推广新服务。为了加速 phoenixNAP Elasticsearch Service 上线,英特尔为 phoenixNAP 提供机会来抢先体验英特尔® 傲腾™ 持久内存及使用该内存必须配备的第二代英特尔® 至强® 可扩展处理器。在此过程中,英特尔随时提供实施该解决方案的相关支持,并通过调优来提高性能。

凭借 Elasticsearch* 脱颖而出
云市场的竞争非常激烈,phoenixNAP 凭借针对特定应用优化并辅以增值服务的云环境,从超大规模云提供商中脱颖而出。

全新 Elasticsearch 服务的推出使得 phoenixNAP 能够为现有客户提供管理 phoenixNAP 云数据的新方法,为他们带来更多价值。对于受监管约束的客户来说,使用全新 Elasticsearch 服务后,无需验证新解决方案提供商的数据主权或安全性。

新服务还有助于发掘新业务。由于该解决方案可横跨不同的云环境,因此不需要将大量数据存储在 phoenixNAP 的数据中心内。新客户既可以选择将数据迁移到 phoenixNAP,也可以利用

 phoenixNAP 易于部署的优势,将数据迁移到第三方云存储。

目前,Vizion.AI 和 phoenixNAP 正在合作推广该解决方案,以期打造共同的客户群。

经验总结
phoenixNAP 和 Vizion.AI 在推出新服务的过程中收获了一些宝贵的经验。

  • Geoff Tudor 表示:“通过将工作负载与优化后的基础设施相匹配,可以节省大量成本。与未使用英特尔® 傲腾™ 持久内存的同等硬件平台相比,现在我可以完成更多的数据处理。”
  • 并非总是需要修改代码才能从英特尔® 傲腾™ 持久内存中受益。比如,VMware vSphere* 6.7 就无需做任何更改便与英特尔® 傲腾™ 持久内存兼容。
  • 英特尔与云服务提供商 (CSP) 积极合作,帮助他们创建和推出新服务,其中就包括全新的 phoenixNAP Elasticsearch* Service
phoenixNAP 简介
phoenixNAP 成立于 2009 年,是一家遍布全球的 IT 服务提供商,主营业务为云服务、专用服务器、主机托管和基础设施即服务 (IaaS) 技术解决方案。phoenixNAP 是 VMware vCloud Air* 网络计划的高级服务提供商,也是获得支付卡行业数据安全标准 (PCI DSS) 验证的服务提供商。phoenixNAP 位于亚利桑那州凤凰城的总部已经过服务性机构控制体系鉴证 (SOC) 1 类和 2 类 SOC 审计。
 
解决方案的技术组件
  • Elasticsearch*:Elasticsearch 是一种开源软件,提供分布式、多租户全文本搜索引擎。
  • Panzura* 存储层:Panzura 存储层在数据中心存储协议和云存储协议之间提供一个中间层,使数据中心应用无需修改即可使用云存储。
  • 第二代英特尔® 至强® 可扩展处理器:第二代英特尔® 至强® 可扩展处理器为功能强大的数据中心平台提供硬件基础,实现了敏捷性和可扩展性的飞跃。这款处理器富于创新,采用突破性设计,其平台融合以及计算、存储、内存、网络和安全等功能均达到了新的高度。企业、云和通信服务提供商如今可以借助这一多功能、多用途的平台,推进各自雄心勃勃的数字化行动计划。
  • 英特尔® 傲腾™ 持久内存:英特尔® 傲腾™ 持久内存是一种新型内存,可为内核提供更大的内存容量(为每个平台提供 TB 级而非 GB 级的容量),并可通过内存总线进行访问。这项革新技术将高性价比的大容量内存与数据持久存储巧妙地结合在一起。除此之外,它还得到第二代英特尔® 至强® 可扩展处理器的支持。