为什么模型加载到 GPU 的时间比加载到 CPU 的时间长?
内容类型: 维护与性能 | 文章 ID: 000057525 | 上次审核日期: 2026 年 03 月 05 日
将输入模型的中间表示 (IR) 加载到 GPU 比将同一模型加载到 CPU 花费的时间更长。
手动 创建应用程序工作目录中 cl_cache 目录。
驱动程序将使用此目录存储已编译内核的二进制表示形式。这将适用于所有支持的作系统。
或者,设置环境变量:
export INTEL_OPENCL_CACHE=1
请参阅本文以了解模型缓存概述,以优化延迟。
由于 GPU 堆栈基于 OpenCL*,因此以中间表示 (IR) 格式将输入模型加载到 GPU 比将相同模型加载到 CPU 花费的时间更长。加载时间取决于 OpenCL* 内核的编译时间。
启用 cl_cache时,首次加载模型时仍需很长时间,因为 OpenCL* 内核将进行编译。但是,同一模型的每次后续加载都会快得多。
对于 OpenVINO™ 2026.0 中的编程缓存配置:
core.set_property("GPU", {"CACHE_DIR": "./cl_cache"})