带有 英特尔® 神经电脑棒 2 的异构插件
异构插件 (HETERO) 使用多个设备可以在一个网络上进行计算推理。您可能希望以异构模式执行网络,以:
- 利用加速器的功能,包括在加速器上计算网络最重的部分,并在 CPU 等退回设备上执行不受支持的层。
- 在一次推理中更高效地利用所有可用的硬件。
要使用异构插件,并使用 OpenVINO 的™基准性能测试应用程序在英特尔® 神经电脑棒 2上运行推理,请按照以下步骤操作:
- 通过运行inference_engine/samples 目录中的buildsamples.sh(用于 Linux)或build_samples_msvc.bat(对于 Windows)来构建 C++ 样本。
- 使用该benchmark_app使用您想要使用的设备测试和配置 Hetero 插件。例如,运行 -d HETERO:GPU,CPU 将优先考虑 GPU,而 CPU 将是一个回退设备。
查找有关 异构插件和 OpenVINO 工具包 的 更多信息。