跳转至主要内容
支持知识库

为什么模型加载到 GPU 的时间比加载到 CPU 的时间长?

内容类型: 维护与性能   |   文章 ID: 000057525   |   上次审核日期: 2026 年 03 月 05 日

环境

OpenVINO™工具套件 GPU 插件 CPU 插件

说明

将输入模型的中间表示 (IR) 加载到 GPU 比将同一模型加载到 CPU 花费的时间更长。

解决方法

手动 创建应用程序工作目录中 cl_cache 目录。

驱动程序将使用此目录存储已编译内核的二进制表示形式。这将适用于所有支持的作系统。

或者,设置环境变量:

export INTEL_OPENCL_CACHE=1

其他信息

请参阅本文以了解模型缓存概述,以优化延迟。

由于 GPU 堆栈基于 OpenCL*,因此以中间表示 (IR) 格式将输入模型加载到 GPU 比将相同模型加载到 CPU 花费的时间更长。加载时间取决于 OpenCL* 内核的编译时间。

启用 cl_cache时,首次加载模型时仍需很长时间,因为 OpenCL* 内核将进行编译。但是,同一模型的每次后续加载都会快得多。

对于 OpenVINO™ 2026.0 中的编程缓存配置:
core.set_property("GPU", {"CACHE_DIR": "./cl_cache"})

相关信息

OpenVINO™ 2026.0 GPU 插件文档

相关产品

本文适用于 1 产品。

免责声明

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考,未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突,应以英文版为准。 查看此页面的英语版本。