概述
利用面向英特尔® Edge AI Box 的英特尔® Edge Software Device Qualification（英特尔® ESDQ），客户可以在目标系统上运行英特尔提供的测试套件，以帮助合作伙伴通过平台资格认证。
以下信息仅针对面向英特尔® Edge AI Box 的英特尔® ESDQ 程序包。有关英特尔® ESDQ CLI 二进制的文档，请参阅英特尔® Edge Software Device Qualification（英特尔® ESDQ）CLI 概述。
选择配置和下载，从英特尔® Edge AI Box 页面下载面向英特尔® Edge AI Box 的英特尔® ESDQ，然后参阅入门了解安装步骤。
目标系统要求
- 第 11 代、第 12 代或第 13 代嵌入式英特尔® 酷睿™ 处理器
- 英特尔® 酷睿™ Ultra 处理器
- 搭载英特尔锐炫™ A380 显卡的第 12 代英特尔® 酷睿™ 桌面处理器
- 英特尔凌动® 处理器 X7000 系列（原 Alder Lake-N）
- 英特尔® 处理器 N 系列（原 Alder Lake-N）
- 第四代英特尔® 至强® 可扩展处理器
- 操作系统：
- Ubuntu* Desktop 22.04（全新安装）
- 酷睿和酷睿 Ultra 平台首选 Ubuntu 22.04.3 LTS（全新安装）
- 至强平台首选 Ubuntu 22.04.4 LTS Server（全新安装）
- Ubuntu* Desktop 22.04（全新安装）
- 至少 80 GB 磁盘空间
- 至少 16 GB 内存
- 直接联网
确保您拥有对系统的 sudo 访问权限和稳定的互联网连接。
工作原理
英特尔® Edge AI Box 中的 AI Box 测试模块通过通用测试模块接口 (TMI) 层（英特尔® ESDQ 二进制文件的一部分）与英特尔® ESDQ CLI 进行交互。
下载选项中的选定组件将通过自动化测试套件进行验证。
测试结果存储在 output 文件夹中。英特尔® ESDQ 以 HTML 格式生成完整测试报告，并生成详细日志，将其打包为一个 ZIP 文件的详细日志，您可以通过电子邮件将该文件发送给英特尔® ESDQ 支持团队 (edge.software.device.qualification@intel.com)。
AI 计算盒测试模块
AI Box 测试模块是面向英特尔® Edge AI Box 的验证框架。此模块将验证软件包安装，并使用以下基准测试评测平台性能：
注意：对于至强平台，以上所有基准测试在 CPU 上运行（确保 CPU 利用率在 25% 和 75% 之间）。对于其他平台，基准测试在 iGPU 和 dGPU（如果存在）上运行
运行基准测试时，将收集以下遥测数据：
- CPU 主频
- CPU 利用率
- 内存利用率
- GPU 频率
- GPU EU 利用率
- GPU VDBox 利用率
- GPU 功率
- 程序包功率
OpenVINO 基准测试
以下神经网络模型使用 OpenVINO™ 基准测试工具进行基准测试。将同时测量延迟和吞吐量。基准测试结果包含在 ESDQ 报告中。
- resent-50-tf
- ssdlite-mobilenet-v2
- yolo-v3-tiny-tf
- yolo-v3-tf
- yolo-v4-tf
- efficientnet-b0
- yolo-v5 n/s/m
- yolo-v8 n/s/m
- mobilenet_v2
媒体性能基准测试
媒体性能基准测试包含以下基准测试：
- 媒体编码基准测试：使用随机噪声作为源，将视频流编码到不同的视频编解码器（h264、h265）和分辨率（1080p、4K）组合。测量以 30 FPS 编码的最大视频流数。
- 媒体解码基准测试：使用不同的视频编解码器（h264、h265）和分辨率（1080p、4K）组合来解码视频流。测量以 30 FPS 解码的最大视频流数。
- 媒体解码 + 合成基准测试：使用不同的视频编解码器（h264、h265）和分辨率（1080p、4K）组合来解码视频流，并将其组成视频墙。以 30 FPS 的速度，测量可解码并合成视频墙的最大视频流数量
我们建议在运行此基准测试之前将 2x 4K 显示器连接到机器上，然后将媒体解码 + 合成基准测试中的合成视频驱动到每个显示器上。
视频管道基准测试
视频管道基准测试包括以下领域特定的代理管道基准测试：
- 智能 NVR 管道：测量平台可以支持的最大 AI 支持的视频流数，同时保持输出帧速率与固定输入数量的输入帧速率 (20fps) 相等。
- Headed Visual AI 管道：测量平台可以运行的最大通道数，同时保持输出帧速率与输入帧速率 (30fps) 相等。
- 具有存储和 AI 代理管道的 VSaaS 网关：测量 AI VSaaS 网关管道支持的最大通道数量，同时保持输出帧速率与输入帧速率 (30 fps) 相等。
我们建议在运行智能 NVR 管道和 Headed Visual AI 管道之前将 4K 显示器连接到机器上，将合成视频驱动到显示器上。
内存基准测试
内存基准测试将基于 STREAM 测量持续内存带宽。
AI 频率测量
AI 频率基准测试旨在对 GPU 施加长时间的压力。该基准测试将使用 OpenVINO™ 基准测试工具记录运行推理工作负载时的 GPU 频率。
立即行动
AI Box 测试模块和英特尔® ESDQ CLI 工具作为英特尔® Edge AI Box 开发程序包的一部分进行安装。因此，英特尔® Edge AI Box 的入门部分给出的说明中包含许多通用步骤。
注意：屏幕截图可能会显示与当前版本不同的程序包版本号。请参阅版本说明了解有关当前版本的信息。
前提条件
- 在目标系统上全新安装 Ubuntu Desktop 22.04 或更高版本（酷睿和酷睿 Ultra 平台首选 Ubuntu 22.04.3 LTS；至强平台首选 Ubuntu 22.04.4 LTS Server）。
至强平台注意事项：AI Box 预计在至强平台上采用纯 CPU 配置，所有基准测试都将在 CPU 上运行。如果您的系统有显卡，请在安装 AI Box 程序包之前拔掉显卡。
下载并安装面向英特尔® Edge AI Box 的英特尔® ESDQ
-
选择配置和下载，下载英特尔® Edge AI Box 程序包。
配置和下载
- 将下载的程序包传送到目标 Ubuntu* 系统并解压缩：
unzip intel_edge_ai_box.zip
注：请使用 Ubuntu 安装过程中创建的同一凭据，继续安装英特尔® Edge AI Box
- 转到 intel_edge_ai_box/ 目录：
cd intel_edge_ai_box
- 更改可执行 edgesoftware 文件的权限：
chmod 755 edgesoftware
- 对于凌动和酷睿平台，如果您的操作系统内核是 6.5.0-35-generic，请检查 "echo $LC_IDENTIFICATION" 是否显示 *UTF-8。如果未显示，请执行以下步骤：
sudo apt-get install locales -y
sudo locale-gen en_US.UTF-8
sudo update-locale LANG=en_US.UTF-8 LC_CTYPE=en_US.UTF-8 LC_IDENTIFICATION=en_US.UTF-8
sudo reboot
- 安装英特尔® Edge AI Box 程序包：
./edgesoftware install
- 系统提示时，输入产品密钥。您可以输入英特尔发送的确认下载电子邮件中提到的产品密钥（或在第 2 步中复制的产品密钥）。
中华人民共和国 (PRC) 网络备注：
- 如果从中国网络建立连接，在下载模块之前将出现以下提示：
- 键入 No 可使用默认设置，键入 Yes 可输入 pip 和 apt 程序包管理器的本地镜像 URL。
- 在 BMRA 基本安装期间将出现类似的提示：
- 键入 Yes，为了避免在中国网络中下载失败，将出现一些后续提示。
- 键入 No 以使用默认的 Github 镜像和 Docker hub 镜像。
**如果要在中国网络下启用 RDM 和 XPU Manager，您需要键入 Yes 以输入可用的 Docker hub 镜像
- 然后，您可以选择是否安装 XPU 管理器，如果键入 Yes，请确保您在上一步中已替换默认的 Docker hub 镜像：
- 安装 AIBox Samples 时将出现以下提示，键入 Yes 以使用默认的 GitHub 镜像：
- 对于凌动和酷睿平台，如果您的内核不是 6.5.0.35-generic，则会提示重启系统。重启系统后，再次执行第 6 步检查 $LC_IDENTIFICATION。然后使用命令 ./edgesoftware install 再次安装
- 您可以选择是否启用 RDM（远程设备管理）功能，如果键入 Yes，请输入 ThingsBoard 服务器 IP、端口和访问令牌。如果您想在中国大陆网络下启用，请确保您在上一步中已替换默认的 Docker hub 镜像：
- 当系统提示输入 BECOME 密码时，输入您的 Linux* 帐户密码。
- 系统提示重新启动计算机时，请按 Enter 键。在重新启动之前，请确保保存您的工作。
- 重新启动后，请继续安装：
cd intel_edge_aibox
./edgesoftware install
- 安装 ESDQ 后，系统会提示您输入密码。输入密码以继续。
- 安装完成后，您会看到“程序包安装完成”消息以及每个模块的安装状态。
- 重新启动系统：
sudo reboot
运行应用程序
如需完整的英特尔® ESDQ CLI，请参阅英特尔® ESDQ CLI 概述。 要查找可用的英特尔® Edge AI Box 测试，请运行以下命令：
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-h"
您可以选择运行单个测试或同时运行所有测试。每项测试的结果将整理到 HTML 报告中。
酷睿 Ultra 平台的注意事项：酷睿 Ultra 平台的 ESDQ 报告中的某些遥测技术数据（例如 GPU 频率、RCS 使用情况）可能较低。这是因为从 apt install 安装的 intel-gpu-tools 不能完全支持酷睿 Ultra 平台，在这种情况下，您可以按照以下步骤从源代码构建最新的 intel-gpu-tools。
-
安装依赖项：
sudo apt-get update
sudo apt-get install -y gcc flex bison pkg-config libatomic1 libpciaccess-dev libkmod-dev libprocps-dev libdw-dev zlib1g-dev liblzma-dev libcairo-dev libpixman-1-dev libudev-dev libxrandr-dev libxv-dev x11proto-dri2-dev meson libdrm-dev
sudo apt-get install -y libunwind-dev libgsl-dev libasound2-dev libxmlrpc-core-c3-dev libjson-c-dev libcurl4-openssl-dev python-docutils valgrind peg libdrm-intel1
sudo apt-get install -y build-essential cmake git
sudo apt-get clean
-
克隆 intel-gpu-tools v1.28 源代码：
git clone -b v1.28 https://gitlab.freedesktop.org/drm/igt-gpu-tools.git
-
使用源代码进行构建：
cd igt-gpu-tools && ./meson.sh
cd igt-gpu-tools && make
-
全新的 intel-gpu-tools 位于 igt-gpu-tools/build/tools 中，用于检查基准测试运行时 GPU 的使用情况，在运行基准测试之前在命令下运行：
sudo igt-gpu-tools/build/tools/intel_gpu_top -l
运行完整的 ESDQ
运行以下命令，以执行所有英特尔® Edge AI Box 测试并生成完整报告。
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-r all"
运行 OpenVINO 基准测试
OpenVINO 基准测试评测平台上常用的神经网络模型的性能。支持以下模型：
- resent-50-tf
- ssdlite-mobilenet-v2
- yolo-v3-tiny-tf
- yolo-v3-tf
- yolo-v4-tiny-tf
- yolo-v4-tf
- efficientnet-b0
- yolo-v5 n/s/m
- yolo-v8 n/s/m
- mobilenet_v2
注意：yolo-v4-tf 和 yolo-v8 n/s/m 跳过酷睿 Ultra 平台上的 NPU 设备，因为它们目前无法在 NPU 设备上运行。
以下 OVRunner Runner 命令将使用 dGPU 对所有模型进行基准测试，持续 180 秒。
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-r OVRunner -d dGPU -t 180"
OVRunner 参数：
- -d {CPU, GPU, iGPU, NGPU} 指定设备类型。
- -t <seconds> 以秒为单位指定基准测试持续时间。
- -m {resnet-50-tf, ssdlite_mobilenet_v2, yolo-v3-tiny-tf, yolo-v4-tf, efficientnet-b0, yolo-v3-tf, yolo-v4-tiny-tf, yolo-v5n, yolo-v5s, yolo-v5m, yolo-v8n, yolo-v8s, yolo-v8m, mobilenet-v2-pytorch}指定模型。要运行所有模型，请勿包含此参数。
- -p {INT8, FP16} 指定模型精度
以下是 resnet-50-tf 基准测试结果示例：
运行内存基准测试
内存基准测试将基于 STREAM 测量持续内存带宽。要测量用于媒体处理的内存带宽，请调用 MemBenchmark Runner：
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-r MemBenchmark"
MemBenchmark Runner 完成后，将显示测试报告的位置。示例报告如下：
运行 AI 频率测量
AI 推理频率基准测试旨在对 GPU 施加长时间的压力。该基准测试将使用 OpenVINO™ 基准测试工具记录运行推理工作负载时的 GPU 频率。
以下 FreqRunner Runner 命令会测量 GPU 频率，持续 10 小时。
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-r FreqRunner -t 10"
FreqRunner 参数：
- -t <seconds> 指定基准测试持续时间（以小时计）。
以下仅为示例图：
运行媒体性能基准测试
以下 Media Runner Runner 命令对所有可用设备（酷睿和酷睿 Ultra 平台上的 iGPU、dGPU、至强平台上的 CPU）上的所有视频编解码器（H264、H265）和分辨率（1080p、4K）调用此基准测试。
cd intel_edge_aibox/Intel_Edge_AI_Box_4.0
esdq --verbose module run aibox --arg "-r MediaRunner"
示例报告如下：
运行智能 NVR 代理管道基准测试
智能 NVR 管道基准测试包含以下流程：
- 解码 25 1080p H264 视频通道
- 在本地存储视频流
- 在视频通道的子集上运行 AI 推理
- 将解码后的视频通道组合成多视角 4K 视频墙流
- 编码多视角视频墙流，以供远程观看
- 在连接的显示器上显示多视角视频墙流（4K 显示器为佳）
以下命令运行管道基准测试：
esdq --verbose module run aibox --arg "-r SmartAIRunner"
运行 Headed Visual AI 代理管道基准测试
Headed Visual AI 代理管道包含以下流程：
- 解码指定数量的 1080p 视频通道
- 在所有视频通道上运行 AI 推理
- 将所有视频通道组合成多视角视频墙流
- 编码多视角视频墙流，以供远程观看
- 在连接的显示器上显示多视角视频墙流（4K 显示器为佳）
以下命令运行管道基准测试：
esdq --verbose module run aibox --arg "-r VisualAIRunner"
运行具有存储和 AI 代理管道基准测试的 VSaaS 网关
具有存储和 AI 代理管道的 VSaaS 网关包含以下流程：
- 解码指定数量的 1080p h264 视频通道
- 在本地存储视频流
- 在所有视频通道上运行 AI 推理
- 将视频通道转码为 h265，供远程使用
以下命令运行管道基准测试：
esdq --verbose module run aibox --arg "-r VsaasAIRunner"
完整 ESDQ 报告示例
已知问题
[AIBOX-293]：首次生成报告时 Report.zip 为空。
[AIBOX-420]：使用新用户 ID 安装期间，发现权限问题。
[AIBOX-623]：MTL 平台上的英特尔 XPU Manager Exporter 无数据。
[AIBOX-624]：在 EAB4.0 安装过程中出现 MODULE_STDERR。解决方法请参阅故障排除。
[AIBOX-629]：MTL 平台 ESDQ 报告中的 GPU 遥测数据过少。解决方法是指运行应用程序。
故障排除
- 由于系统在后台自动更新，您可能会遇到以下错误：
要解决此问题，请重新启动并手动更新系统。然后重新运行安装：
sudo reboot
sudo apt update
./edgesoftware install
- 如果网络质量差，您可能会遭遇以下错误：
要解决这个问题，可以配置在安装前无需输入密码即可运行 sudo：
sudo visudo
导航到“# 用户权限规范”部分，并添加以下行以授予当前用户无需输入密码即可运行 sudo 的权限：
USER ALL=(ALL) NOPASSWD: ALL
请将 USER 替换为您的真实用户名。
添加该行后，保存并退出，然后重新安装 AIBox 程序包。
请参阅英特尔® Edge AI Box 程序包的故障排除部分。
如果您无法解决问题，请联系支持论坛。
版本说明
当前版本：4.0
此版本中的新增功能
- 在 OpenVINO 基准测试中添加了 INT8 模型
- 在 OpenVINO 基准测试中添加了 NPU 支持
- 将视频解码性能基准测试替换为媒体性能基准测试
- 将视频分析管道基准测试替换为特定领域代理管道基准测试
- 在基准测试报告中添加了遥测信息
- 在基准测试报告中添加了图形结果
- 已添加英特尔酷睿 Ultra 和 SPR-SP 平台支持
- 添加了远程设备管理
版本：3.1.1
- 修复了在提示用户输入“已分割”时出现的 ESDQ 挂起错误
- 修复了 “-h” 的 ESDQ 测试模块错误
- 修复了 ESDQ 测试模块报告生成错误
版本：3.1
此版本中的新增功能
- 更改了中国网络的代理 URL。
- 修复了与依赖项版本更新相关的问题。
版本：3.0
此版本中的新增功能
- 将 ESDQ 基础设施更新到版本 v11.0.0
- 构建了基准测试，并在视频分析基础库容器中执行。
- 添加了对独立 GPU 的支持。
- 添加了内存基准测试。
版本：2.6
此版本中的新增功能
- 更新了测试模块，以支持英特尔® 发行版 OpenVINO™ 工具套件 2022.2 示例。
- 在容器中添加了面向英特尔® 发行版 OpenVINO™ 工具套件的测试。
- 添加了视频解码 16 通道 1080p 4x4 视频墙测试。
- 纳入了 GPU 推理频率图测试。
版本：2.5
此版本中的新增功能
- 更新了测试模块，以支持英特尔® 发行版 OpenVINO™ 工具套件 2022.1 示例。
- 移除了 SVET、英特尔® Media SDK 和 Yolo 测试。
- 纳入了管道功能测试和推理基准测试要求。
版本：2.0
此版本中的新增功能
- 集成了英特尔® 发行版 OpenVINO™ 工具套件 2021.4.2。
- 纳入了 Azure IoT PnP 网桥、英特尔® 发行版 OpenVINO™ 工具套件 TensorFlow 网桥和 Amazon Web Services Greengras 的功能测试。
已知问题
- 智能视频和 AI 工作负载参考实施测试要求用户输入根密码。但是，在图形界面上运行英特尔® ESDQ 时，系统会在执行 SVET 期间切换到控制台模式，并且会丢失对显示密码提示的英特尔® ESDQ 终端的控制权。这会导致挂起情况。使用 SSH 终端登录系统，并执行英特尔® ESDQ 测试以解决此问题。
版本：1.2
此版本中的新增功能
- HTML 报告中提供了延迟和吞吐量信息。
- 纳入了智能视频和 AI 工作负载参考实施功能测试。
1.0 版
此版本中的新增功能
- 推荐配置的初始功能。
已知问题
- 如果未下载 yolo-v3-tf.xml，则英特尔® ESDQ HTML 报告页面中的延迟和吞吐量指标将为 null。