在视觉处理器 （VPU） 上加载模型比在 CPU 上加载花费的时间更长

• 将模型加载到视觉处理器 （VPU） 的时间比在 CPU 上加载模型要长。
• 使用 Python API 的代码： net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

若要减少加载 时间，请 从 Blob（一个经过解析的图）加载模型，以绕过模型解析阶段。

1. 使用以下 方法之一在加载之前提前生成 Blob 文件：
   • 使用命令行中的myriad_compile工具生成 Blob：
     1. 预编译工具在 英特尔® 发行版 OpenVINO™ 工具套件 中提供。还可以克隆并生成开源OpenVINO工具包存储库。
     2. 生成 Blob。
        在 path inference-engine/bin/intel64/Release 中， 按如下所示执行 命令： ./myriad_compile -m <model_name>.xml -o <output filename>
2. 使用 推理引擎核心 API 导入代码中的 Blob：executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

在 VPU 上加载模型时，有两个内部过程：

1. 解析图
2. 分配图

在加载过程中，解析的 VPU 图形会通过主机的 xlink 逐步发送到硬件。

从 Blob 加载模型可以减少某些模型的大量时间，但可能不适用于所有模型。

除了模型大小之外，加载时间还取决于图层类型、输入数据大小等。

从 Blob 加载模型时，HDDL 插件比 MYRIAD 插件更高效。

按照以下步骤 在英特尔® 神经电脑棒 2上启用 HDDL 插件，而不是 MYRIAD 插件：

1. 设置autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
2. 设置autoboot_settings:total_device_num to 1.
3. 开始hddldaemon.