上海优刻得信息科技有限公司（以下简称 UCloud* 是目前国内领先的公有云服务提供商之一。它深耕云计算行业多年，在全球拥有 19 个数据中心，对互联网、移动互联网、传统企业在不同场景下的业务需求有着深入了解，可以提供计算、网络、存储、CDN、数据分析等多种 IT 全局解决方案。截至今天，UCloud 已为 5 万余家企业级客户提供了服务，业务范围覆盖游戏、电商/O2O、互联网金融、互联网医疗、音视频等 19 个细分领域，间接服务的用户数量超过 10 亿，部署在 UCloud 平台上的客户业务总产值逾千亿元人民币。
UCloud 不仅是一家云计算企业，也是一个资源整合的创新云服务平台。它通过与产业链上下游优质企业的通力合作，打造出健康、稳定的一站式服务生态。在人工智能（Artificial Intelligence，AI）如火如荼的今天，很多初创企业和传统企业都选择以 AI 为契机开拓市场，但同时也面临着缺乏高效部署 AI 能力的难题。为此， UCloud 基于英特尔® 至强® 服务器平台，充分发掘和利用英特尔® 高级矢量扩展（英特尔® AVX）指令集相关处理单元的潜能，推出了 UCloud AI 在线服务（UCloud AI online Service，UAI-Service*），其具备的大规模分布式计算平台可以满足企业在图像识别、自然语言处理等多个 AI 领域的在线服务应用需求。
面临挑战
企业的 AI 之路并非坦途大道：无论是初创企业踏上 AI 创新之旅，还是传统企业希冀借助 AI 之力调转航向，实现转型或升级，AI 系统的设计、部署和运维都需要巨大、多维度的投入且困难重重，在决策选型过程中稍有不慎，都会带来巨大的沉没成本，令许多企业望而生畏。
AI 的高成本正侵蚀企业的总拥有成本（Total Cost of Ownership, TCO ）：AI 能力提升的背后，可能会给企业带来巨大的成本开支，如何在性能和成本之间达到平衡？这一问题让许多企业决策者感到苦恼。
解决方案
UCloud UAI-Service：面向初创企业、传统企业 AI 转型而生的 UCloud UAI-Service，旨在提供易部署、易运维、更安全以及多 AI 框架支持的 AI 在线服务节点，可助力企业完成 AI 模型部署这一关键环节，并在图像识别、机器学习等多个 AI 领域满足企业用户的需求。
英特尔® 至强® 处理器 E5 产品家族及英特尔® AVX：通过与英特尔的紧密技术合作，UAI-Service 一方面巧妙地利用云主机中英特尔® 至强® 处理器 E5 产品家族的空闲处理能力，将其英特尔® AVX 能力用于支持和加速 AI 在线服务；另一方面，利用该处理器产品家族强大的可扩展性进行弹性部署，用低成本获得高性能，降低用户的 TCO。
成果
真正推动 AI 技术的普及，助其持续发展： UCloud 推出的 UAI-Service 将身处技术“深闺”中的 AI 技术和应用进一步平民化、实体化。通过 PaaS 的方式，让更多有志于在 AI 领域开拓进取的企业能够获取出色的 AI 部署能力，进而让整个 AI 产业实现“小步快跑”的前进节奏。
更有效利用空闲计算资源、节约用户成本支出：UAI-Service 创新地利用英特尔® 至强® 处理器 E5 产品家族的空闲处理能力，是对空闲计算资源再利用的有效尝试，其成功实践令成千上万的数据中心处理器空闲能力得以充分利用。这既降低了企业用户的 TCO ，也达到了环保节能的效果。
横空出世的 AlphaGo，让 AI 成为近两年来人们持续关注的热点。而 AI 也正在走出象牙塔，走近普通企业和大众，并开始在经济和民生层面扮演起越来越重要的角色。从机器学习、模式识别到自动驾驶、机器视觉，不但众多初创企业将 AI 研发作为扬帆起航的契机，许多传统企业也将其作为自身转型升级所必备的利器。
但 AI 系统的建设并非易事，企业 AI 系统的建设可分为“数据收集”、“模型训练”及“模型部署”三个步骤，每个步骤都会带来复杂的 IT 系统建设及运维工作。随着各类大数据、云计算技术方案的日趋成熟，“数据收集”和“模型训练”的工作正逐渐转移到云上，形成了成熟的云化方案，而 AI 模型部署的云化还存在许多问题：一方面，多种多样的 AI 框架需要企业制订和执行不同的部署策略，难免因此产生高昂的运营成本；另一方面，主要用于模型训练的 GPU 平台在模型部署中不仅部署成本较高，而且在扩展性上的表现也不够理想。
UCloud 推动的 UAI-Service，就是针对上述 AI 模型部署难题而生的创新方案。UCloud 的工程师们创造性地利用了虚拟云主机上英特尔® 至强® 处理器 E5 产品家族的空闲计算资源，借助英特尔® AVX 的能力，来提供专注于 AI 模型部署的 AI 在线服务。英特尔® 至强® 处理器强大的可扩展性也帮助 UAI-Service 获得了快速便捷部署的能力，并显著降低了企业运行 AI 在线服务的成本支出。
让使用 AI 服务像使用云主机一样便捷
“简单来讲，AI 的三部曲可以分为大数据收集，AI 模型训练和 AI 在线服务。”UCloud 创新产品线总监叶理灯这样描述企业 AI 系统建设，“此前，针对前两步，UCloud 都已经为用户提供了成熟的云主机、云存储、云网络等解决方案。”
但三部曲的最后乐章，却还面临诸多问题。一方面，企业用户在基于 AI 进行业务创新时，常常面临众多的业务流程，如何将不同的业务流程与 AI 在线服务一一映射，这对 AI 在线服务的部署、可管理性及可扩展性提出了巨大的挑战；另一方面，面对众多的 AI 框架，企业运维人员总有无从着手的烦恼，因为他们需要为各个框架开发和配置不同的接口，工作量巨大。为解决 AI 系统建设这“最后一公里”的问题，UCloud 提供了 UAI-Service，它能基于大规模分布式计算平台为用户提供 AI 在线服务。
在实际任务部署中，UAI-Service 为用户提供了“两步走”的部署模式。首先，向用户提供 SDK 工具包，内含接口代码框架、代码和数据打包模板以及第三方依赖库描述模板。用户只需根据 SDK 工具包内的代码框架编写接口代码，准备好相关代码和 AI 模型以及第三方库列表，就可以通过打包工具一键完成任务的在线部署。
任务打包完毕后，用户可以通过 UAI-Service 分布式的 AI 在线服务 PaaS 平台进行后续管理和维护。该平台可以同时管理上千个计算节点，每个计算节点都是同构节点，具有相等的计算能力，并拥有自动请求负载均衡、自动资源管理的功能。用户只需要将业务部署在平台上，就无须操心其后续的运维。
“UAI-Service 给用户带来的最大优势，就是省去了部署 AI 在线服务时的大量繁琐工作，让用户可以将宝贵的资源聚焦在自身的业务上。”在 UCloud 叶理灯看来，如果每一个企业用户在部署自己的 AI 服务时，都需要通盘考虑容灾、安全性、资源调度或者负载均衡，那么企业在人力资源和成本上的支出将是沉重不堪的。UAI-Service 将这些工作都内化为 SDK 包和 PaaS 平台服务，用户只需要像使用云主机或者云存储服务那样，轻松将所需的功能或服务配置在一起就可以使用，而且 UAI-Service 还可以自动将分布式部署的四大要素——负载均衡、自动扩容、分布式容灾以及海量计算资源进行有效配置。
UAI-Service 另一个重要优势是平台内数据的安全性。首先，由于UAI-Service 在每个虚拟机上只部署一个 AI 节点，因此做到了各个 AI 任务之间的隔离；其次，由于平台本身并不涉及 AI 训练数据以及训练方法，在运行时仅需模型文件及接口代码，杜绝了数据外泄的可能；此外，UCloud 还基于 SDN 技术实现了网络链路层的隔离，使每个客户的 AIService 项目子网之间相互隔离，提升了网络安全性；最后，UCloud 基于 SDN 技术实现了网络链路层的隔离，使每个客户的 AIService 项目子网之间相互隔离，提升了网络安全性。在 UAI-Service 中，用户之间的 AI 模型和接口代码是安全隔离的，全自动化的部署过程使运维人员无权访问敏感数据，进一步提升了数据的安全性。
UAI-Service 的通用性优势，解决了企业面对不同 AI 框架时的“选择障碍症”。UAI-Service 对主流的 AI 框架，包括 TensorFlow*、Keras*、Caffe* 和 MXNet* 等都提供良好的支持，企业可以根据自己的业务需求来选择不同的 AI 框架进行接入。
在传统的 AI 框架以外，UAI-Service 还与英特尔一起，引入了性能更佳的 AI 框架：面向英特尔® 架构优化的 Caffe 框架。这一版本的 Caffe 框架与传统 AI 框架相比，能更好地支持英特尔® 至强® 处理器产品家族和英特尔® 至强融核™ 处理器产品家族，并集成了最新版本的英特尔® 数学核心函数库 2017，能更高效地利用英特尔® AVX的处理能力。
源自 UCloud 的一系列测试结果表明，借助面向英特尔® 架构优化的 Caffe 框架，测试系统同时运行的线程数量可以得到显著增加。基于该框架，测试系统的执行时间也能从最初未修改前的 37 秒缩短至优化后的 3.6 秒，整体执行性能提高了 10 倍以上。事实证明，通过采用这一框架，UAI-Service 的 AI 在线服务效率得到了极大的跃升 1。
以低 TCO 获取高效 AI 服务
现阶段，致力于 AI 开发和创新的企业，多为初创型企业，或者是正在谋求业务转型和升级的传统企业，因此对 TCO 的控制尤为敏感。如何获取高性价比的在线 AI 能力是企业用户们普遍关心的热点话题。
由于在图像识别、自然语言处理等 AI 正在发挥重要作用的领域中，往往需要用到大量的浮点运算，因此在人们的传统观念里，只针对浮点计算提供加速的 GPU 平台，似乎更适于 AI 系统的构建。但在 AI 模型的部署实践中， GPU 动辄高达数万元人民币的售价极其昂贵，而且由于其扩展性不足，一旦部署，通常就只能固定执行单一的计算工作，难以随时根据工作任务的调整和变化实现及时的适配。
这样一来，UCloud 就盯上了数据中心内大量部署的、每台服务器都会配备的通用处理器。“通过技术分析，我们发现虚拟云主机中的处理器，处于工作状态的主要都是简单指令集，而英特尔® 至强® 处理器集成的英特尔® AVX 则并没有被充分利用。” UCloud 叶理灯表示：“这意味着以浮点计算性能著称的英特尔® AVX 的能力，或许可以为我们提供更适用的解决方案。”
英特尔® AVX 是一套完整的单指令多数据（SingleInstructionMultipleData，SIMD）指令集规范，其最大的优势在于支持 256 位矢量计算，大大提升了处理器的浮点计算性能。其具备的增强数据重排能力，也能更有效地存储、读取数据。在充分认识到了英特尔® AVX 及其处理单元的特性和优势之后，UCloud 的工程师们开始了一项大胆的创新：利用各个虚拟机中此前未能“物尽其用”的英特尔® AVX 能力，来满足 AI 在线服务的计算需求。
为了实现这一创举，UCloud 与英特尔的工程师们携手优化了英特尔® AVX 在 AI 在线服务中的应用表现，经过反复的优化与验证， AI 在线服务的重要技术指标——时延被成功降低到了数百毫秒，完全能够满足 UCloud 用户的实际应用需求。
在时延这一性能指标达标的同时，英特尔® 至强® E5 处理器产品家族出色的可扩展性也开始释放其强大的应用潜力。在数据中心内、服务器中配备的无数英特尔处理器都可以被扩展到系统中，来进一步强化 AI 在线服务所需的浮点计算能力，这是一种远比 GPU 方案经济高效得多的解决方案，毕竟，这些处理器节点已经是 UCloud 的既有投资，无需再为此多支出一分钱。
“这就是英特尔处理器强大的可扩展性带来的力量。在云计算平台上，处理器资源能够迅速地进行海量扩容，按我们目前的解决方案，即在每一个虚拟机上都部署一个 AI 在线服务计算节点，这意味着我们的 AI 在线服务未来可以根据用户需求得到迅速且海量的扩容能力，同时还不需要额外支付太多成本。”UCloud 叶理灯满意地说。
为了对这一创新成果进行验证，UAI-Service 已在 200 多个基于英特尔® 至强® E5 处理器产品家族的虚拟机节点上部署了 AI 在线服务计算节点，验证测试的结果表明：基于英特尔至强处理器的 AI 在线服务计算节点完全能满足用户对性能的要求，在帮助用户有效降低 TCO 的同时，也顺应了数据中心环保节能的发展方向。
最新进展：让机器更快识别“喜怒哀乐”
在前期成功开发和测试的基础上，UAI-Service 最近又在人脸识别技术的应用上实现最新进展。人脸识别一直是人工智能的一个重要研究方向，而基于英特尔至强服务器平台，利用英特尔® AVX 来支持的 UAI-Service，已在人脸表情识别的一系列测试中达成了优异的表现，验证了其能帮助零基础用户获得强大 AI 能力的潜能。
在测试中，UCloud 选用了 Tensorflow 提供的 TF-Slim 实验库以及人脸表情识别公开数据库 fer2013，其中共包含 35887 张人脸图片，各测试样本在年龄、面部等方面有较大差异性，这使该项技术测试具备了巨大的挑战性。
而测试结果表明：在有并发的前提下，UAI-ServiceAI 在线服务的性能普遍高于 8 核 8G 云主机的性能，刚刚得到的测评数据表明，目前并发数为 8-16 个节点时，AI 在线服务在性能上基本与基于 GPU 的方案相仿，这不仅说明在 UAI-ServiceAI 在线服务上部署人脸表情识别应用可以带来出色的成效，还证明基于英特尔® AVX 支持的 UAI-Service 在人工智能应用中完全具备了与传统方案相媲美的能力。
结论：
以此前在 UAI-Service 上的成功协作为基础，UCloud 未来还计划进一步深化与英特尔的创新协作，包括将最新的、面向英特尔处理器优化的 AI 框架引入 UAI-Service 在线服务平台，并将充分发掘新一代英特尔® 至强® 可扩展处理器的能力，特别是其集成的全新英特尔® AVX-512 带来的更为强悍的浮点运算能力，来进一步优化 AI 在线服务，让专注于 AI 创新和应用的企业用户，能继续在合理的成本条件下，获取更强的 AI 计算能力支持。
经验
AI 在线服务的普及，不仅需要在技术上予以突破，其部署的便捷性、与现有云计算能力的结合程度以及在分布式集群上部署的可行性，也在深刻影响着企业用户的 AI 研发和应用进程。正是因为准确捕捉到了用户的痛点和具体需求，UCloud 的 UAI-Service 才赢得了用户的青睐。
受数据中心内普遍存在的处理器计算资源闲置现象的启发，创造性地将其空闲的浮点计算能力投入到 AI 在线服务中，这不仅是技术上的创新，也是 AI 处理工作模式上的全新探索和尝试，它既能有效帮助企业用户降低 TCO，也顺应了数据中心环保节能的发展趋势。
找到适合于您公司的解决方案，请与您的英特尔代表联系或访问英特尔商用频道。
英特尔技术特性和优势取决于系统配置，并可能需要支持的硬件、软件或服务才能激活。没有计算机系统是绝对安全的。更多信息，请见 Intel.com，或从原始设备制造商或零售商处获得更多信息。
描述的成本降低情景均旨在在特定情况和配置中举例说明特定英特尔产品如何影响未来成本并提供成本节约。情况均不同。英特尔不保证任何成本或成本降低。
英特尔、Intel，至强是英特尔公司在美国和或其他国家的商标。英特尔商标或商标及品牌名称资料库的全部名单请见 intel.com 上的商标。
* 其他的名称和品牌可能是其他所有者的资产。