英特尔® Edge AI Box

概述

参考架构在搭载英特尔® 酷睿™ 处理器的单一计算盒内，集成了视频解码和分析功能。利用灵活的 AI 功能和参考视频分析管道进行端到端应用配置，以实现快速开发。

英特尔® Edge AI Box 可以当作独立的设备，连接 IP 摄像头或网络录像机 (NVR) 等视频源，以便实时启用边缘视频分析，也可以连接到网络并充当网络上的独立 AI 服务，按需运行离线深度学习分析。

选择配置和下载来下载以下程序包和软件。

配置和下载

必备条件

• 编程语言：Python、C、C++
• 可用软件： 
  • 英特尔® 发行版 OpenVINO™ 工具套件 2023.1、2023.0（仅适用于 DLStreamer 容器）
  • 英特尔® Deep Learning Streamer 2023.0
  • 英特尔® oneAPI Video Processing Library
  • 英特尔® oneAPI Deep Neural Network Library
  • OpenCV 4.8.0（功能有限）
  • 英特尔® FFmpeg Cartwheel 2023Q2（功能有限）
  • 面向 CPU 和 GPU 遥测的 XPU-Manager、Node-Exporter、Prometheus 和 Grafana

推荐的硬件

建议将此程序包与以下硬件配合使用。 有关其他建议，请参阅推荐的硬件页面。

目标系统要求

• 第 11 代、第 12 代或第 13 代嵌入式英特尔® 酷睿™ 处理器
• 搭载英特尔锐炫™ A380 显卡的第 12 代英特尔® 酷睿™ 桌面处理器
• 英特尔凌动® 处理器 X7000 系列（原 Alder Lake-N）
• 英特尔® 处理器 N 系列（原 Alder Lake-N）
• 操作系统：
  • Ubuntu* Desktop 22.04（全新安装）
• 至少 80 GB 磁盘空间
• 至少 8 GB 内存
• 直接联网

确保您拥有对系统的 sudo 访问权限和稳定的互联网连接。

工作原理 

英特尔® Edge AI Box 参考架构为创建面向轻量级边缘设备的全面视频分析系统奠定了基础。本程序包支持第 11 代、第 12 代和第 13 代嵌入式英特尔® 酷睿™ 处理器、搭载英特尔锐炫™ A380 显卡的第 12 代英特尔® 酷睿™ 桌面处理器、英特尔凌动® 处理器 X7000 系列及英特尔凌动® 处理器 N 系列（原 Alder Lake-N）。

英特尔® Edge AI Box 参考架构的核心是一套容器。视频分析 (VA) 基础库容器包括用于加速推理和媒体处理的 OpenVINO™、oneDNN 和 GPU 驱动程序。另外两种容器（Base-devel 和 OpenCV FFmpeg）对 VA 基础库容器进行了扩展：

软件包

英特尔® Edge AI Box 程序包可针对不同环境进行配置：

平台资格认证环境

平台资格认证环境中提供的设备资格认证工具套件包括用于测试平台性能的基准测试。其中包括：基于 OpenVINO™ 的神经网络模型基准测试、视频分析管道基准测试、内存基准测试、GPU 性能测试和视频解码性能基准测试。

参考实施环境

在此版本的英特尔® Edge AI Box 中，参考实施环境包括一个用于 YOLOv3 对象检测网络的多通道推理管道。参考实施支持多达 16 个摄像头作为输入，并可在单一屏幕上对来自所有通道的已检测对象进行可视化。

解决方案开发环境

解决方案开发环境包括上文提到的四个容器，并可作为视频分析应用的起点。

入门

前提条件

• 在目标系统上全新安装 Ubuntu Desktop 22.04。
• 全新安装 Ubuntu 22.04 之后，运行以下命令

sudo apt update
sudo apt upgrade –y
sudo apt-get install locales –y
sudo locale-gen en_US.UTF-8
sudo update-locale LANG=en_US.UTF-8 LC_CTYPE=en_US.UTF-8
LC_IDENTIFICATION=en_US.UTF-8
sudo reboot

安装程序包

1. 选择配置和下载，下载英特尔® Edge AI Box 程序包。
   配置和下载

2. 根据需要选择所需环境和配置。（本示例使用平台资格认证环境。）

​

3. 单击下载。在下一个屏幕上，接受许可协议并复制产品密钥。

4. 将下载的程序包传送到目标 Ubuntu* 系统并解压缩：

unzip intel_edge_aibox.zip

注：请使用 Ubuntu 安装过程中创建的同一凭据，继续安装英特尔® Edge AI Box

5. 转到 intel_edge_ai_box/ 目录：

cd intel_edge_aibox

6. 更改可执行 edgesoftware 文件的权限：

chmod 755 edgesoftware

7. 安装英特尔® Edge AI Box 程序包：

./edgesoftware install

8. 系统提示时，输入产品密钥。您可以输入英特尔发送的确认下载电子邮件中提到的产品密钥（或在第 3 步中复制的产品密钥）。

中华人民共和国 (PRC) 网络备注： 

• 如果从中国网络建立连接，在 bmra 基本安装期间将出现以下提示： 

​

• 键入是，安装脚本将替换某些下载源。这是为了避免在中国网络中下载失败。然后，在安装 AI 计算盒测试模块时，将出现以下提示：

​

• 键入是，替换某些 GitHub* 链接。

9. 当系统提示输入 BECOME 密码时，输入您的 Linux* 帐户密码。

​

10. 系统提示重新启动计算机时，请按 Enter 键。在重新启动之前，请确保保存您的工作。

​

11. 重新启动后，请继续安装：

    cd intel_edge_aibox
    ./edgesoftware install
    

    
12. 安装 ESDQ 后，系统会提示您输入密码。输入密码以继续。

​

13. 安装完成后，您会看到“程序包安装完成”消息以及每个模块的安装状态。

​

14. 重新启动系统：

sudo reboot 

利用设备资格认证工具运行基准测试

先决条件：请确保安装的英特尔® Edge AI Box 程序包已针对“平台资格”环境而配置，方可运行基准测试

使用英特尔® Edge Software Device Qualification（英特尔® ESDQ）基础设施运行测试套件。所有英特尔® Edge AI Box 测试都将作为参数在英特尔® ESDQ 基础设施中调用。有关完整的英特尔® ESDQ CLI，请参阅英特尔® ESDQ CLI 概述。

查找可用的英特尔® Edge AI Box 测试：

cd intel_edge_aibox/Intel_Edge_AI_Box_3.1.1
esdq --verbose module run aibox --arg "-h"

执行所有设备资格认证测试并生成完整报告：

cd intel_edge_aibox/Intel_Edge_AI_Box_3.1.1
esdq --verbose module run aibox --arg "-r all"

有关运行设备资格认证工具的更多详细信息，请参阅面向英特尔® Edge AI Box 的英特尔® Edge Software Device Qualification。

CPU 和 GPU 利用率遥测

安装英特尔® Edge AI Box 后，将在系统启动期间自动开始遥测。您可以通过仪表板将 CPU 和 GPU 利用率可视化。

1. 在 Web 浏览器中访问 https://127.0.0.1:3000。使用默认登录凭证进行登录：
   • Username：admin
   • 密码：admin

注意：如果看到未来潜在安全风险警告，请单击高级，然后接受风险并继续。

​

3. 首次登录后，在系统提示时更改密码。

4. 如果远程连接到设备，请使用以下命令转发端口 3000：

   ssh -L 3000:127.0.0.1:3000 user@aibox_device_ip

   
5. 然后，在本地浏览器中登录 https://127.0.0.1:3000。

​

6. 登录后，单击左上角的菜单。导航到主页 > 仪表板 > 通用，查看可用仪表板。

​

7. 选择 Node Exporter Full，查看 CPU 和操作系统遥测数据。

​

8. 从仪表板中选择英特尔 XPU Manager Exporter，查看 GPU 遥测数据。

​

9. 要停止遥测，请运行以下命令： 

   aibox_monitor.sh stop

   

10. 您也可以手动开始遥测： 

    aibox_monitor.sh start

    

    注意：aibox_monitor.sh 脚本存储在 $HOME/.local/bin/ 中。您无需指定完整路径即可运行脚本。

运行参考应用程序

先决条件：请确保安装的英特尔® Edge AI Box 程序包已针对“参考实施”环境而配置，方可运行参考应用程序

注：如果您在 SSH 会话中运行参考应用程序，请按以下方式设置 DISPLAY 环境：                                                        

export DISPLAY=:0       

多通道对象检测

此参考应用是 OpenVINO Model Zoo 中提供的同名演示的容器化版本。该容器名为 multi_channel_object_detection:3.1.1。

以下命令使用默认的 bottle-detection.mp4 视频运行该应用程序，重复四次：

export DEVICE=/dev/dri/renderD128
export DEVICE_GRP=$(ls -g $DEVICE | awk '{print $3}' | 
xargs getent group | awk -F: '{print $3}')

docker run -it 
--device /dev/dri --group-add=$DEVICE_GRP  
-v /tmp/.X11-unix:/tmp/.X11-unix 
-v /run/user/1000/wayland-0:/tmp/wayland-0 
multi_channel_object_detection:3.1.1 
-i /home/aibox/bottle-detection.mp4 
-m /home/aibox/share/models/public/yolo-v3-tf/FP16/yolo-v3-tf.xml 
-duplicate_num 4 -d GPU

要在 dGPU 中运行，请更改为 GPU.1。

要尝试的事项

要连接到 IP 摄像头，请将 -i /home/aibox/bottle-detection.mp4 替换为 -i rtsp://camera_url 。

通过 -i rtsp://camera1_url,rtsp://camera2_url,.... 指定多个摄像头源

使用 VBA 基础库容器

英特尔® Edge AI Box 参考架构的核心是一套容器。VA 基础库容器包括用于加速推理和媒体处理的 OpenVINO™、oneDNN 和 GPU 驱动程序。

这些容器可在平台上用于处理您的项目，对应的 Dockfile 存储在 /opt/intel/base_container/dockerfile 中。

使用示例 1 - 使用 YOLOv3 进行多通道对象检测

以下 Docker 文件用于在参考实施程序包中构建多通道对象检测。该文件使用 aibox-base-devel:3.1.1 从 OpenVINO Model Zoo 中下载模型，并使用 aibox-opencv-ffmpeg:3.1.1 编译演示。

有关更多详细信息，请安装为参考实施环境配置的英特尔® Edge AI Box 程序包，并查看 intel_edge_aibox/Intel_Edge_AI_Box_3.1.1/Intel_Edge_AIBox_Samples/multi_channel_object_detection_yolov3 目录。

#============================================================================
# Copyright (C) 2022 Intel Corporation
#
# SPDX-License-Identifier: MIT
#============================================================================

FROM aibox-base-devel:3.1.1 as builder
ARG https_proxy
ARG http_proxy
ARG no_proxy

RUN mkdir -p $HOME/share/models/
RUN omz_downloader -o $HOME/share/models --name yolo-v3-tf
RUN omz_converter -o $HOME/share/models -d $HOME/share/models --name yolo-v3-tf


FROM aibox-opencv-ffmpeg:3.1.1
ARG https_proxy
ARG http_proxy
ARG no_proxy

USER root
RUN apt update -y && apt -y install git

USER aibox
ENV HOME=/home/aibox
WORKDIR /home/aibox

RUN git clone --branch releases/2023/1 --depth 1 --recurse-submodules https://github.com/openvinotoolkit/open_model_zoo.git /home/aibox/open_model_zoo
COPY --chown=aibox:aibox build_omz_demos.sh .
RUN chmod 755 /home/aibox/build_omz_demos.sh
RUN bash build_omz_demos.sh

COPY --from=builder /home/aibox/share /home/aibox/share

RUN curl -L -o bottle-detection.mp4 https://github.com/intel-iot-devkit/sample-videos/raw/master/bottle-detection.mp4

WORKDIR /home/aibox/omz_demos_build/intel64/Release
ENV XDG_RUNTIME_DIR=/tmp
ENV WAYLAND_DISPLAY=wayland-0

ENTRYPOINT ["/home/aibox/omz_demos_build/intel64/Release/multi_channel_object_detection_demo_yolov3"]
CMD ["-h"]

使用示例 2 - 视频解码和平铺显示

以下示例显示如何使用 aibox-dlstreamer: 3.1.1 容器执行流媒体和媒体处理。本示例使用 VAAPI 对 16 个视频文件执行解码，然后进行合成，以在 2K 分辨率 (2560x1440) 显示器上进行显示。 

1. 您可以使用自己的视频或从 https://vimeo.com/644498079 下载样本视频。以下示例使用 /videos 目录中的 Big_Buck_Bunny.mp4 视频。 
2. 在主目录中创建 decode.sh 文件，然后添加以下代码：

#!/bin/bash
source /opt/intel/dlstreamer/setupvars.sh
VIDEO_IN=videos/Big_Buck_Bunny.mp4
gst-launch-1.0 vaapioverlay name=comp0 sink_0::xpos=0 sink_0::ypos=0 sink_0::alpha=1 sink_1::xpos=640 sink_1::ypos=0 sink_1::alpha=1 sink_2::xpos=1280 sink_2::ypos=0 sink_2::alpha=1 sink_3::xpos=1920 sink_3::ypos=0 sink_3::alpha=1 sink_4::xpos=0 sink_4::ypos=360 sink_4::alpha=1 sink_5::xpos=640 sink_5::ypos=360 sink_5::alpha=1 sink_6::xpos=1280 sink_6::ypos=360 sink_6::alpha=1 sink_7::xpos=1920 sink_7::ypos=360 sink_7::alpha=1 sink_8::xpos=0 sink_8::ypos=720 sink_8::alpha=1 sink_9::xpos=640 sink_9::ypos=720 sink_9::alpha=1 sink_10::xpos=1280 sink_10::ypos=720 sink_10::alpha=1 sink_11::xpos=1920 sink_11::ypos=720 sink_11::alpha=1 sink_12::xpos=0 sink_12::ypos=1080 sink_12::alpha=1 sink_13::xpos=640 sink_13::ypos=1080 sink_13::alpha=1 sink_14::xpos=1280 sink_14::ypos=1080 sink_14::alpha=1 sink_15::xpos=1920 sink_15::ypos=1080 sink_15::alpha=1 ! vaapipostproc ! xvimagesink sync=false 

filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_0 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_1 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_2 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_3 

filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_4 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_5 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_6 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_7 

filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_8 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_9 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_10 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_11 

filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_12 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_13 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_14 
filesrc location=${VIDEO_IN} ! qtdemux ! vaapih264dec ! gvafpscounter ! vaapipostproc scale-method=fast ! video/x-raw,width=640,height=360 ! comp0.sink_15

3. 为文件分配执行权限：

   chmod 755 decode.sh

   
4. 执行解码脚本：

   export DEVICE=/dev/dri/renderD128
   export DEVICE_GRP=$(ls -g $DEVICE | awk '{print $3}' | xargs getent group | awk -F: '{print $3}')
   docker run -it --rm --net=host 
   -e no_proxy=$no_proxy -e https_proxy=$https_proxy 
   -e socks_proxy=$socks_proxy -e http_proxy=$http_proxy 
   -v /tmp/.X11-unix 
   --device /dev/dri --group-add ${DEVICE_GRP} 
   -e DISPLAY=$DISPLAY 
   -v $HOME/.Xauthority:/home/aibox//.Xauthority:ro 
   -v $HOME/Videos:/home/aibox/Videos:ro 
   -v $HOME/decode.sh:/home/aibox/decode.sh:ro 
   aibox-dlstreamer:3.1.1 /home/aibox/decode.sh
   

   

结果如下：

​

使用示例 3 - OpenVINO 模型基准测试 

以下示例展示如何下载模型，转换 OpenVINO 模型，并使用 aibox-base-devel: 3.1.1 容器，运行基准测试。

1. 在主目录中创建 openvino_benchmark.sh 文件，然后添加以下代码。您可以更改模型名称和目标设备。在本示例中，模型为 resnet-50-tf，目标设备为 GPU。

#!/bin/bash
MODEL=resnet-50-tf
DEVICE=GPU

omz_downloader --name ${MODEL}
omz_converter --name ${MODEL}

echo "====================================="
echo "Running Benchmark FP32 with ${DEVICE}"
echo "====================================="
cd /home/aibox/public/${MODEL}/FP32
benchmark_app -m ${MODEL}.xml -d ${DEVICE}

echo "====================================="
echo "Running Benchmark FP16 with ${DEVICE}"
echo "====================================="
cd /home/aibox/public/${MODEL}/FP16
benchmark_app -m ${MODEL}.xml -d ${DEVICE}

2. 为文件分配执行权限：

   chmod 755 openvino_benchmark.sh

   
3. 运行以下 Docker 命令：

   docker run -it --rm --net=host 
   -e no_proxy=$no_proxy -e https_proxy=$https_proxy 
   -e socks_proxy=$socks_proxy -e http_proxy=$http_proxy 
   -v /tmp/.X11-unix --device /dev/dri --group-add 110 
   -e DISPLAY=:0 
   -v $HOME/.Xauthority:/home/aibox//.Xauthority:ro 
   -v $HOME/openvino_benchmark.sh:/home/aibox/openvino_benchmark.sh:ro 
   aibox-base-devel:3.1.1/home/aibox/openvino_benchmark.sh
   

   

输出示例如下：

​

已知问题

 [AIBOX-254]：在视频解码和合成基准测试中，未 100% 利用 VDBoxes。

[AIBOX-283]：与 5.19+ 相比，XPU Manager 在 Kernel 6.2+ 中输出的数据较少。

[AIBOX-293]：首次生成报告时，Report.zip 为空。

[AIBOX-296]：无法在较早的英特尔® Video AI Box 3.0 版本的基础上安装英特尔® Edge AI Box 3.1 版本。

[AIBOX-420]：使用新用户 ID 安装期间，发现权限问题

故障排除

由于系统在后台自动更新，您可能会遇到以下错误：

​

​

要解决此问题，请重新启动并手动更新系统。然后重新运行安装：

sudo reboot
sudo apt update
./edgesoftware install

如果您无法解决问题，请联系支持论坛。

当前版本：3.1.1

• 修复了导致 opencv-ffmpeg BKC 校验失败的 h264 文件大小问题
• 修复了 OpenCV 的 Python 绑定缺失的问题
• 修复了把 aibox_dlstreamer 容器作为基础图像使用时找不到 sycl_meta_overlay 插件的问题
• 已添加本地编码，以修复 bmra_base ansible-playbook
• 修复了在提示用户输入“已分割”时出现的 ESDQ 挂起错误
• 修复了在无头设备上安装失败的问题
• 修复了“-h”的 ESDQ 测试模块错误
• 修复了 ESDQ 测试模块报告生成错误

版本：3.1

• 更新到 OpenVINO 2023.1 和 2023.0（仅适用于 DLStreamer 容器）
• 更新到 DLStreamer 2023.0
• 更新到 OpenCV 4.8.0
• 更新到 FFMPEG cartwheel 2023q2
• 更新到 GPU 驱动程序堆栈 20230912
• 增加了 CPU 和 GPU 遥测和可观察性