总结
快速步骤以改善 GPU 上的模型加载时间
说明
将输入模型的中间表示 （IR） 加载到 GPU 需要的时间比将相同模型加载到 CPU 还要长。
解决方法
在应用程序的工作目录中手动创建cl_cache目录。
驱动程序将使用此目录存储已编译内核的二进制表示形式。这将适用于所有受支持的操作系统。
其他信息：
有关管理cl_cache的更多信息，请参阅本文 。
将输入模型加载到中间表示 （IR） 格式到 GPU 需要的时间比将同一模型加载到 CPU 需要更长的时间，因为 GPU 堆栈基于 OpenCL*。加载时间取决于 OpenCL* 内核的编译时间。
当您启用 cl_cache时，第一次加载模型仍需花费很长时间，因为 OpenCL* 内核将进行编译。但是，同一模型的每一次加载速度将大大提高。