FPGA AI 套件
借助 FPGA AI Suite,FPGA 设计师、机器学习工程师和软件开发人员能够高效地创建经优化的 FPGA AI 平台。该套件中的实用程序将利用常见而熟知的行业框架(如 TensorFlow 或 PyTorch 和 OpenVINO 工具套件)加速面向 AI 推理的 FPGA 开发,同时还通过 Quartus Prime 软件充分利用强大而稳定、成熟的 FPGA 开发流程。
FPGA AI 套件
优势
高性能
Agilex™ 7 FPGA M 系列在 FPGA 利用率为 90% 的情况下,可实现 88.5 INT8 TOPS 或每秒 3,679 Resnet-50 帧的最大理论性能。1
通过简单的系统集成降低总拥有成本
将 AI IP 与其他系统级组件集成,以实现更小的空间占用、更低的功耗和延迟。
AI 前端支持
可以使用您喜欢的 AI 前端,如 TensorFlow、Caffe、Pytorch、MXNet、Keras 和 ONNX。
简单的标准流程
借助 Quartus Prime 软件或 Platform Designer,创建 AI 推理 IP 并将其添加到当前或全新的 FPGA 设计中。
访问预训练模型
FPGA AI Suite 支持 Open Model Zoo 中的大多数模型。
无缝预训练模型转化
OpenVINO 工具套件将模型从大多数标准框架转换为中间表示。
一键式生成优化的 AI IP
FPGA AI Suite 可从预训练的 AI 模型中无缝生成最佳 AI 推理 IP,以实现最佳资源到性能目标的设计空间。
无硬件早期模型验证
可通过 OpenVINO 插件接口对 AI 推理 IP 进行位精确的2软件模拟,从而无需硬件即可更快地评估模型的准确性。
FPGA AI 推理开发流程
该开发流程可将硬件和软件工作流程无缝整合成通用端到端 AI 工作流程。步骤如下所示:
1.OpenVINO™ 模型优化器将预训练模型转化为中间表示网络文件 (.xml) 和权重、二进制文件 (.bin)。
2。FPGA AI Suite 编译器用于:
- 为特定架构文件提供估算区域或性能指标,或生成优化的架构文件。(架构是指一系列推理 IP 参数,如 PE 阵列大小、精度、激活函数、界面宽度、窗口大小等。)
- 将网络文件与用于 FPGA 和 CPU(或两者)的网络分区以及权重和偏差一起编译成一个 .bin 文件。
3.编译后的 .bin 文件在运行时由用户推理应用程序导入。
- 运行时应用程序编程接口 (API) 包括推理引擎 API(运行时分区 CUP 和 FPGA,调度推理)和 FPGA AI(DDR 内存、FPGA 硬件模块)。
4.参考设计可用于演示在具有支持主机 CPU(x86 和 Arm 处理器)的 FPGA 上导入 .bin 和运行推理的基本操作以及无主机推理操作。
5.通过 OpenVINO 插件接口可对 FPGA AI Suite IP 进行软件模拟,以在不接触硬件的情况下更快地评估 FPGA AI IP 的准确性(仅适用于 Agilex™ 5 FPGA)。
注意:
支持的设备:Agilex™ 5 FPGA、Agilex™ 7 FPGA、Cyclone® 10 GX FPGA、Arria® 10 FPGA
经过测试的网络、层和激活功能3:
- ResNet-50、MobileNet v1/v2/v3、YOLO v3、TinyYOLO v3、UNET、i3d
- 2D Conv、3D Conv、Fully Connected、Softmax、BatchNorm、EltWise Mult、Clamp
- ReLU, PReLU, Tanh, Swish, Sigmoid, Reciprocal
系统级架构
FPGA AI Suite 具有灵活性和可配置性,适用于各种系统级用例。图 1. 列出了将 FPGA AI Suite IP 集成到系统的典型方法。用例涵盖不同的垂直领域,从优化的嵌入式平台到采用主机 CPU(英特尔® 酷睿™ 处理器、Arm 处理器)的应用,再到采用英特尔® 至强® 处理器的数据中心环境。它支持无主机设计和软核处理器,如 Nios® V 处理器。
产品和性能信息
性能因用途、配置和其他因素而异。有关更多信息,请访问 www.Intel.cn/PerformanceIndex。
性能结果基于截至配置中所示日期的测试,可能无法反映所有公开发布的更新。有关配置详细信息,请参见备用材料。没有任何产品或组件能够做到绝对安全。
您的成本和结果可能会有所不同。
软件模拟和硬件之间的微小舍入差异通常会产生小于两个最小精度单位 (ULP) 的差异。