支持知识库

为什么在 GPU 上实现OpenVINO™基准的推理模型相比 CPU，延迟和吞吐量都更高？

内容类型: 产品信息和文件 | 文章 ID: 000093152 | 上次审核日期: 2023 年 02 月 09 日

说明解决方法

说明

在 CPU 和 GPU 上推断出具有 OpenVINO™ 基准的相同模型：
benchmark_app.exe -m model.xml -d CPU
benchmark_app.exe -m model.xml -d CPU
导致的 GPU 延迟和吞吐量高于 CPU。
无法确定为什么 GPU 上的延迟和吞吐量都高于 CPU，因为低延迟会导致高吞吐量。

延迟可测量同步处理单个输入所需的推断时间。

使用默认参数运行OpenVINO™基准时，它是在异步模式下推断。因此，延迟测量处理推理请求数量所需的总推断时间。

此外，在具有默认参数的 CPU 上运行基准应用程序时，会创建 4 个推理请求，而在使用默认参数的 GPU 上运行基准应用程序时，会创建 16 个推理请求。因此，GPU 推断的延迟高于 CPU。

在 CPU 和 GPU 上运行基准应用程序时指定相同数量的推理请求以进行相当的比较：
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考，未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突，应以英文版为准。查看此页面的英语版本。