带有 英特尔® 神经电脑棒 2 的异构插件

文档

安装与设置

000055368

2022 年 09 月 07 日

异构插件 (HETERO) 使用多个设备可以在一个网络上进行计算推理。您可能希望以异构模式执行网络,以:

  • 利用加速器的功能,包括在加速器上计算网络最重的部分,并在 CPU 等退回设备上执行不受支持的层。
  • 在一次推理中更高效地利用所有可用的硬件。

要使用异构插件,并使用 OpenVINO 的™基准性能测试应用程序在英特尔® 神经电脑棒 2上运行推理,请按照以下步骤操作:

  1. 通过运行inference_engine/samples 目录中的buildsamples.sh(用于 Linux)或build_samples_msvc.bat(对于 Windows)来构建 C++ 样本。
  2. 使用该benchmark_app使用您想要使用的设备测试和配置 Hetero 插件。例如,运行 -d HETERO:GPU,CPU 将优先考虑 GPU,而 CPU 将是一个回退设备。

查找有关 异构插件和 OpenVINO 工具包 的 更多信息。