科大讯飞基于 CPU 构建 AI 开放平台
加速开发者创新

科大讯飞基于英特尔® 至强® 可扩展处理器优化人工智能开放平台。

  • “英特尔不仅是卓越的硬件产品提供商,还是人工智能领域领先的全栈解决方案提供商,更是我们人工智能战略上可信、可依赖的全天候、全方位合作伙伴,能帮助我们更高效地探索人工智能的未来创新之路。”

  • 张致江 云计算研究院副院长 科大讯飞

author-image

作者

作为中国乃至全球智能语音和人工智能(Artificial Intelligence,以下简称 AI)产业的领跑者,成立于 1999 年的科大讯飞股份有限公司(以下简称“科大讯飞*”)在语音识别、自然语言处理等多项技术上处于国际领先地位,已占据中文语音技术市场 70% 以上的份额1。面向未来,科大讯飞正计划以讯飞开放平台为基础,以讯飞 AI 技术为核心力量,吸纳来自各行业的数据和专家知识,构建更完善的 AI 产业生态,探索 AI 在认知领域的新篇章。

科大讯飞深刻理解云计算平台对于实现上述战略目标的重要意义,也看到深度学习等 AI 技术的发展不仅需要顶层应用的精进,更离不开底层平台在计算、数据处理和算法优化上的支持。这就意味它一方面需要从长远共赢的角度出发,寻找一家在上述技术领域拥有更强综合实力的合作伙伴;另一方面则更需要关注眼前,为自身的人工智能开放平台(以下简称“AI 开放平台”)及其应用寻找更多样化且优化效果更为出色的硬件平台。

基于以上两点考虑,科大讯飞与英特尔公司开展了深度合作。作为横跨通用、专用及可定制硬件平台,兼顾硬件支撑与软件优化,并覆盖终端和云端的 AI 全栈解决方案提供商,英特尔不仅为科大讯飞提供了英特尔® 至强® 可扩展处理器等先进硬件产品,作为其 AI 开放平台的“芯”选择,同时还通过与科大讯飞签署战略谅解备忘录(MOU),致力于加速推进其相关代码和模型从通用图形处理器(以下简称GPGPU)平台向英特尔® 至强® 可扩展处理器平台的迁移和优化。

目前,双方的协作已收获累累硕果。一方面,科大讯飞基于英特尔® 至强® 可扩展处理器的 AI 开放平台已成功上线;同时,大量原有的、基于 GPGPU 的 AI 应用也已成功移植到了基于英特尔® 至强® 可扩展处理器的平台上,并获得了良好的性能优化效果。这标志着双方在携手探索 AI 未来发展道路和前进方向上,已迈出了坚实的一步。

众所周知,影响 AI 的关键因素有三个:数据获取、算法研究和计算能力。目前,前两点的需求已经能得到较好的满足,但计算能力却一直面临巨大挑战。

为了提升深度学习的效能,科大讯飞的“讯飞超脑计划” 打算模拟人脑神经元,以期让该公司的智能语音设备拥有初步的人类思考能力,这意味着科大讯飞会面对处理数千倍训练数据和模型参数的巨大挑战。要实现这一深度模拟,需要更大规模的超算集群、更优的深度学习算法以及深度定制的人工神经网络专属芯片系统。

科大讯飞将目光聚焦在同为 AI 产业创新引领者的英特尔身上。科大讯飞云计算研究院副院长张致江这样理解双方的合作:“与英特尔携手是为了共同探索人工智能未来的发展道路和前进方向,而不仅仅是寻找一家传统意义上的硬件合作伙伴。”

战略合作:从“寻求另一种解决方案”开始

让计算机能够“听懂”人类的语音,是智能识别需要完成的关键任务。多年的不懈努力让科大讯飞在语音识别领域载誉无数,不仅在基于 DNN、RNN、RNN-CTC 算法的语音识别系统上实现了良好的语音识别能力,还自研了 FSMN、DFCNN 等众多创新的智能化语音识别框架,引领着语音识别技术的前进方向。

语音识别想要获得更好的识别效果,就需要对这些框架进行大量的数据训练,这将带来海量的计算工作量。语音识别所用到的深度学习基础架构,是将计算资源和并行文件系统通过高速网络连接,并在其上开发语音识别核心的计算引擎,再将之用于各种模型训练和计算。可以看出,并行计算能力以及高速网络传输能力会直接影响这一架构的工作效率。

此前,科大讯飞主要使用传统的 GPGPU 方案,但英特尔® 至强® 可扩展处理器在这类应用上的出色潜能,也让科大讯飞的工程师们跃跃欲试,希望验证它在其深度学习系统上的表现。

全新一代英特尔® 至强® 可扩展处理器的表现并没有让科大讯飞的专家失望:在性能方面,英特尔® 至强® 可扩展处理器最多可集成 28 个高效内核,其源自英特尔® 高级矢量扩展 512 (英特尔® AVX-512)技术的更大矢量宽度,非常适用于高负荷并行计算的场景。同时,这款处理器还提供了在高性能工作负载下的高可扩展性和可靠性,适用于深度学习中的复杂神经网络快速推理。

此外,英特尔® 至强® 可扩展处理器还更好地满足了科大讯飞 AI 开放平台对多样化应用进行加速的需求。因为 AI 开放平台通常会运行多种应用软件,而且这些软件对于硬件的需求各不相同,例如深度神经网络计算对并行浮点计算能力要求较高,但还有其它大量的应用却并非如此,反而可能会频繁用到更适于通用计算的处理单元。因此,从与应用适配的角度出发,AI 开放平台就需要配置不同的硬件。不过,硬件平台种类的增加很可能会造成采购、部署、运维等复杂度的增加,从而带来成本的大幅提升,所以针对这种复杂的应用需求,较为理想的解决方案就是选择能够同时兼顾通用任务和 AI 应用加速的统一硬件平台。英特尔® 至强® 可扩展处理器就具备这种优势,它可适应各种不同的应用负载,帮助 AI 开放平台提升配置的灵活性,实现更好的可扩展性,还能降低其复杂度,节省成本。况且,将原本运行在 GPGPU 上的应用迁移到英特尔® 至强® 可扩展处理器上并进行优化,也可以在保证计算性能的同时,进一步降低总体拥有成本 (Total Cost of Ownership, TCO)。

应用迁移:双方工程师团队的深入合作

在双方合作过程中,英特尔与科大讯飞都意识到:要让合作往更深层次发展,实现更好的应用迁移和优化效果,就需要将合作深入到代码这个层面,唯有如此才能从根本上进行更高程度的优化。

在双方交流和沟通日渐深入之际,双方技术专家在代码的迁移与优化、硬件优化等多个方面建立起了高效的沟通、交流和合作机制。

首先,在代码迁移优化方面,双方开展了如下工作:

●  明确双方分工。从尊重和保护科大讯飞知识产权出发,首先由科大讯飞抽象总结出其深度神经网络模型、矩阵规模等,将程序代码和数据提供给英特尔;英特尔针对英特尔® 至强® 可扩展处理器的特性,例如高效内核、内存的使用以及超宽矢量宽度等,对代码移植,并进行深入优化,确保基于英特尔® 至强® 可扩展处理器的应用性能达到科大讯飞的预期;之后,再将优化后的成果,包括代码和性能参数,交回给科大讯飞,然后由科大讯飞将优化方案在其实际环境中进行实现,进行调试和测试,确认优化结果的正确性和有效性,最终助力实际生产环境中应用性能的提升。同时,科大讯飞也可将优化的方法和经验用于其它 AI 应用的移植和优化中;

●  定期工作交流。双方技术专家建立了每两周一次的定期电话会议,在会议上双方互相通报工作进展,针对技术问题进行讨论、交流,解决所面临的问题,确定优化的方向,并对下一步工作进行计划安排。同时,双方还不定期地进行互访以及高层领导的见面,安排技术专家进行面对面的交流沟通,对科大讯飞的测试环境进行升级维护。

其次,在硬件优化方面,为进一步提高 AI 开放平台的存储效能,科大讯飞还引入了英特尔® 傲腾™ 固态盘,其采用的英特尔® 傲腾™ 技术实现了对高吞吐量、低延迟、高服务质量 (Quality of Service, QoS) 和高耐用性的融合。英特尔® 固态盘技术团队也帮助科大讯飞在其 AI 开放平台中充分优化了英特尔® 傲腾™ 固态盘的性能,从而突破了原有的存储瓶颈,全面释放出了英特尔® 至强® 可扩展处理器的计算潜能。

与此同时,英特尔也对科大讯飞云计算平台架构设计提供了大量的参考性建议,包括安排英特尔云计算团队及大数据技术团队与科大讯飞的技术团队进行深入交流,针对其 AI 开放平台,从底层架构设计、开放平台软件和大数据软件调优到开放平台运维管理等方面,都提供了全方位的咨询服务,给出了各项建议,帮助科大讯飞 AI 开放平台顺利落地。

通过全面深入的合作,英特尔与科大讯飞都收获了满意的成果。科大讯飞深切体会到了英特尔在 AI 和云计算中的全栈解决方案能力,尤其是把 GPGPU 上的 AI 应用移植到英特尔® 至强® 可扩展处理器上,并对其优化后带来的对于计算能力更为充分地利用,以及 AI 开放平台部署和运维复杂度的简化及 TCO 的节省。英特尔在这一过程中,也更为深刻地了解了科大讯飞这种处于领先地位的 AI 企业在相关应用优化方面的经验、见解和核心需求。英特尔旗下许多与 AI 相关的软件工具和库,例如英特尔® Parallel Studio, 英特尔® 数学核心函数库(Intel® Math Kernel Library for Deep Neural Networks,英特尔® MKL-DNN),也借此机会得到了大幅改进,让双方的合作实现了双赢的效果。

未来:一起站在人工智能的风口

上述一系列深层次合作,使英特尔与科大讯飞都为更清晰地了解了对方在 AI 上的能力与愿景,并意识到调整思维,将传统的硬件合作变为商业和战略两个层面上的深度合作,将是双方面向未来、引领 AI 大潮的重要契机。以此为基础,科大讯飞已开始对英特尔提供的丰富产品和技术进行更为广泛地测试和采用。在其为各行各业用户、开发者们提供的“讯飞开放平台”中,就已经逐步导入全新的英特尔® 至强® 可扩展处理器、英特尔® 傲腾™ 固态盘,以及相比处理器和 GPGPU 更易于定制、对应用的支持也更为灵活的英特尔 FPGA 产品。

着眼未来,英特尔与科大讯飞还将继续以双方的战略谅解备忘录为指导框架,在继续加深技术层面合作的同时,在市场研究、市场策略制定等方面携手共进。