支持知识库

无法在 GPU 上运行 ONNX 模型的 Benchmark_app

内容类型: 故障排除 | 文章 ID: 000095644 | 上次审核日期: 2023 年 07 月 24 日

说明解决方法其他信息：

环境

OpenVINO 2023.0

说明

在 CPU 和 GPU 上运行OpenVINO™ 2023.0 Benchmark_app推断的 ONNX 模型。
在 CPU 上推理成功，但在 GPU 上失败。

解决方法

目前，GPU 的动态形状支持是一项预览功能，具有以下限制：

它主要支持自然语言处理（NLP）模型。并非所有操作和优化都会传递和支持动态形状。因此，特定模型可能会崩溃或出现显著的性能下降。
由于主机设备上的主要运行时开销，动态形状的性能可能不如独立 GPU 上的静态形状。
不支持动态排名。

其他信息：

请参阅 GPU 设备了解更多信息。

相关产品

本文适用于 3 产品。

英特尔® 至强融核™ 处理器软件 OpenVINO™ 工具包性能函数库

免责声明

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考，未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突，应以英文版为准。查看此页面的英语版本。

更多帮助？

联系支持中心

联系支持中心