跳转至主要内容
支持知识库

无法在 GPU 上运行 ONNX 模型的 Benchmark_app

内容类型: 故障排除   |   文章 ID: 000095644   |   上次审核日期: 2023 年 07 月 24 日

环境

OpenVINO 2023.0

说明

  • 在 CPU 和 GPU 上运行OpenVINO™ 2023.0 Benchmark_app推断的 ONNX 模型。
  • 在 CPU 上推理成功,但在 GPU 上失败。

解决方法

目前,GPU 的动态形状支持是一项预览功能,具有以下限制:

  • 它主要支持自然语言处理 (NLP) 模型。并非所有操作和优化都会传递和支持动态形状。因此,特定模型可能会崩溃或出现显著的性能下降。
  • 由于主机设备上的主要运行时开销,动态形状的性能可能不如独立 GPU 上的静态形状。
  • 不支持动态排名。

其他信息:

请参阅 GPU 设备 了解更多信息。

相关产品

本文适用于 3 产品。
英特尔® 至强融核™ 处理器软件 OpenVINO™ 工具包 性能函数库

免责声明

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考,未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突,应以英文版为准。 查看此页面的英语版本。