概述
利用面向英特尔® Edge AI Box 的英特尔® Edge Software Device Qualification（英特尔® ESDQ），客户可以在目标系统上运行英特尔提供的测试套件，以帮助合作伙伴通过平台资格认证。
以下信息仅针对面向英特尔® Edge AI Box 的英特尔® ESDQ 程序包。有关英特尔® ESDQ CLI 二进制的文档，请参阅英特尔® Edge Software Device Qualification（英特尔® ESDQ）CLI 概述。
选择配置和下载，从英特尔® Edge AI Box 页面下载面向英特尔® Edge AI Box 的英特尔® ESDQ，然后参阅入门了解安装步骤。
目标系统要求
- 第 11 代、第 12 代或第 13 代嵌入式英特尔® 酷睿™ 处理器
- 搭载英特尔锐炫™ A380 显卡的第 12 代英特尔® 酷睿™ 桌面处理器
- 英特尔凌动® 处理器 X 系列（原 Alder Lake-N）
- 英特尔® 处理器 N 系列（原 Alder Lake-N）
- 操作系统：
- Ubuntu* 22.04.2 或更高版本
- 至少 80 GB 磁盘空间
- 至少 8 GB 内存
- 直接联网
确保您拥有对系统的 sudo 访问权限和稳定的互联网连接。
工作原理
英特尔® Edge AI Box 中的 AI Box 测试模块通过通用测试模块接口 (TMI) 层（英特尔® ESDQ 二进制文件的一部分）与英特尔® ESDQ CLI 进行交互。
下载选项中的选定组件将通过自动化测试套件进行验证。
测试结果存储在 output 文件夹中。英特尔® ESDQ 以 HTML 格式生成完整测试报告，并生成详细日志，将其打包为一个 ZIP 文件的详细日志，您可以通过电子邮件将该文件发送给英特尔® ESDQ 支持团队 (edge.software.device.qualification@intel.com)。
AI 计算盒测试模块
AI Box 测试模块是面向英特尔® Edge AI Box 的验证框架。此模块将验证软件包安装，并使用以下基准测试评测平台性能：
OpenVINO 基准测试
以下神经网络模型使用 OpenVINO™ 基准测试工具进行基准测试。将同时测量延迟和吞吐量。基准测试结果包含在 ESDQ 报告中。
- resent-50-tf
- ssdlite-mobilenet-v2
- yolo-v3-tiny
- yolo-v3
- yolo-v4
- efficientnet-b0
- yolo-v5 n/s/m
- yolo-v8 n/s/m
视频分析基准测试
视频分析基准测试基于一个将实施车辆检测和属性分类用例的六级管道。该管道由解码、对象检测、对象跟踪、对象分类、水印和编码阶段组成。使用的模型将从 OpenVINO™ Model Zoo 下载。您可以同时运行多达 25 个视频流。
视频解码和合成基准测试
利用平台的 GPU，视频解码和合成基准测试将测量平均帧速率，以同时对多个 1080p 视频流进行解码，并将它们平铺到多视图布局中。该基准测试涵盖 H.264 和 H.265 编码视频流。合成的视频流将使用对应的编解码器进行重新编码，然后将其另存为输出以进行可视化检查。对于集成 GPU，将对 16 个视频流进行解码；对于独立 GPU，将使用 36 个视频流。
内存基准测试
内存基准测试将基于 STREAM 测量持续内存带宽。
GPU AI 频率测量
GPU 推理频率基准测试旨在对 GPU 进行长时间压力测试。该基准测试将使用 OpenVINO™ 基准测试工具记录运行推理工作负载时的 GPU 频率。
入门
AI Box 测试模块和英特尔® ESDQ CLI 工具作为英特尔® Edge AI Box 开发程序包的一部分进行安装。因此，英特尔® Edge AI Box 的入门部分给出的说明中包含许多通用步骤。
注意：屏幕截图可能会显示与当前版本不同的程序包版本号。请参阅版本说明了解有关当前版本的信息。
前提条件
在目标系统上对 Ubuntu 22.04.2 或更高版本进行全新安装。
下载并安装面向英特尔® Edge AI Box 的英特尔® ESDQ
-
选择配置和下载，下载英特尔® Edge AI Box 程序包。
配置和下载 - 根据您的测试系统环境选择所需配置。下图显示了建议选择。
- 将下载的程序包传送到目标 Ubuntu* 系统并解压缩：
unzip intel_edge_ai_box.zip
- 转到 intel_edge_ai_box/ 目录：
cd intel_edge_ai_box
- 更改可执行 edgesoftware 文件的权限：
chmod 755 edgesoftware
- 安装英特尔® Edge AI Box 程序包：
./edgesoftware install
- 系统提示时，输入产品密钥。您可以输入英特尔发送的确认下载电子邮件中提到的产品密钥（或在第 3 步中复制的产品密钥）。
中华人民共和国 (PRC) 网络备注：
- 如果从中国网络建立连接，在 bmra 基本安装期间将出现以下提示：
- 键入是，安装脚本将替换某些下载源。这将避免在中国网络中下载失败。
- 然后，在安装 AI 计算盒测试模块时，将出现以下提示：
- 键入是，替换某些 GitHub* 链接。
- 当系统提示输入 BECOME 密码时，输入您的 Linux* 帐户密码。
- 系统提示重新启动计算机时，请按 Enter 键。在重新启动之前，请确保保存您的工作。
- 重新启动后，请继续安装：
cd intel_edge_aibox
./edgesoftware install
- 安装 ESDQ 后，系统会提示您输入密码。输入密码以继续。
- 安装完成后，您会看到“程序包安装完成”消息以及每个模块的安装状态。
- 重新启动系统：
sudo reboot
运行应用程序
安装的英特尔® Edge AI Box 程序包针对平台资格认证环境进行了配置，并且使用此环境运行基准测试。
如需完整的英特尔® ESDQ CLI，请参阅英特尔® ESDQ CLI 概述。 要查找可用的英特尔® Edge AI Box 测试，请运行以下命令：
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-h"
您可以选择运行单个测试或同时运行所有测试。每项测试的结果将整理到 HTML 报告中。
运行完整的 ESDQ
运行以下命令，以执行所有英特尔® Edge AI Box 测试并生成完整报告。
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r all"
运行 OpenVINO 基准测试
OpenVINO 基准测试评测平台上常用的神经网络模型的性能。支持以下模型：
- resent-50
- ssdlite-mobilenet-v2
- yolo-v3-tiny
- yolo-v3
- yolo-v4
- efficientnet-b0
- yolo-v5 n/s/m
- yolo-v8 n/s/m
以下 OVRunner Runner 命令将使用 dGPU 对所有模型进行基准测试，持续 180 秒。
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r OVRunner -d dGPU -t 180"
OVRunner 参数：
- -d {CPU, GPU, iGPU, dGPU} 指定设备类型。
- -t <seconds> 以秒为单位指定基准测试持续时间。
- -m {resnet-50-tf, ssdlite_mobilenet_v2, yolo-v3-tiny-tf, yolo-v4-tf, efficientnet-b0, yolo-v3-tf, yolo-v5n, yolo-v5s, yolo-v5m, yolo-v8n, yolo-v8s, yolo-v8m} 指定模型。要运行所有模型，请勿包含此参数。
示例报告如下：
运行视频分析基准测试
视频分析基准测试基于一个六级管道，该流水线将使用英特尔® DLStreamer 实施车辆检测和属性分类用例。
运行以下 DLRunner 命令：
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r DLRunner -d GPU [-s 4/8/16/25]"
DLRunner 参数：
-
-d {CPU, GPU, iGPU, dGPU} 指定设备类型。
- -s {4,8,16,25} 指定数字流。要运行所有模型，请勿指定此参数。
示例报告如下：
运行内存基准测试
内存基准测试将基于 STREAM 测量持续内存带宽。要测量用于媒体处理的内存带宽，请调用 MemBenchmark Runner：
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r MemBenchmark"
MemBenchmark Runner 完成后，将显示测试报告的位置。示例报告如下：
运行 GPU AI 频率测量
GPU 推理频率基准测试旨在对 GPU 进行长时间压力测试。该基准测试将使用 OpenVINO™ 基准测试工具记录运行推理工作负载时的 GPU 频率。
以下 FreqRunner Runner 命令会测量 GPU 频率，持续 10 秒。
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r FreqRunner -d GPU -t 10"
FreqRunner 参数：
- -d {CPU, GPU, iGPU, dGPU} 指定设备类型。
- -t <seconds> 以秒为单位指定基准测试持续时间。
以下仅为示例图：
运行视频解码和合成基准测试
视频解码和合成基准测试将测量平均帧速率，以同时对多个 1080p 视频流进行解码，并使用平台的集成 GPU 将它们平铺到多视图布局中。
以下 VMRunner Runner 命令将调用此基准测试，以用于 H.264 解码。
cd intel_edge_aibox/Intel_Edge_AI_Box_3.1
esdq --verbose module run aibox --arg "-r VWRunner -d GPU -c h264"
VMRunner 参数：
- -d {GPU, iGPU, dGPU} 指定设备类型。
- -c {h264,h265} 指定编解码器类型。对 h264 和 h265 运行基准测试时，请勿指定此参数。
示例报告如下：
完整 ESDQ 报告示例
已知问题
[AIBOX-254]：在视频解码和合成基准测试中，未 100% 利用 VDBoxes。
[AIBOX-283]：与 5.19+ 相比，XPU Manager 在 Kernel 6.2+ 中输出的数据较少。
[AIBOX-293]：首次生成报告时，Report.zip 为空。
[AIBOX-296]：无法在较早的英特尔® Video AI Box 3.0 版本的基础上安装英特尔® Edge AI Box 3.1 版本。
故障排除
由于系统在后台自动更新，您可能会遇到以下错误：
要解决此问题，请重新启动并手动更新系统。然后重新运行安装：
sudo reboot
sudo apt update
./edgesoftware install
请参阅英特尔® Edge AI Box 程序包的故障排除部分。
如果您无法解决问题，请联系支持论坛。
版本说明
当前版本：3.1
此版本中的新增功能
- 更改了中国网络的代理 URL。
- 修复了与依赖项版本更新相关的问题。
版本：3.0
此版本中的新增功能
- 将 ESDQ 基础设施更新到版本 v11.0.0
- 构建了基准测试，并在视频分析基础库容器中执行。
- 添加了对独立 GPU 的支持。
- 添加了内存基准测试。