支持、资源和常见问题解答

您可以向 GitHub 存储库报告 OpenVINO 工具套件问题。对于边缘 AI 参考套件问题,请加入 OpenVINO 笔记本存储库英特尔支持论坛上的讨论。

英特尔为特定 AI 用例(例如智能仪表扫描、实时异常检测和智能队列管理)提供了边缘 AI 参考套件。我们会经常添加更多用例。利用实时计算机视觉,使用目标检测、对象分割和生成式 AI(未来包括)来创建 AI 推理解决方案。

这些套件使用预训练的优化模型在流行平台上加速 AI,并包括详细文档、操作说明视频、代码示例和 GitHub 存储库。利用这些套件,您可以加快部署和采用流程,并节省时间。

OpenVINO™ 工具套件加速了为 AI 用例压缩模型,然后将其部署到各种硬件平台上的整个过程。这加快了 AI 推理解决方案的开发,并提高了您将创意转化为真实世界中的 AI 应用的效率。

 

是。OpenVINO™ 工具套件会编译模型以便在许多不同设备上运行,从而为您提供灵活性,允许您只需编写代码一次,即可在 CPU、GPU、视觉处理器和其他加速器上部署模型。

要获得可能的最佳性能,必须在系统中正确设置并安装最新 GPU 驱动程序。请使用有关如何在 Windows* 和 Ubuntu* 上安装英特尔 GPU 驱动程序的指南。

注意: 在将 OpenVINO™ 工具套件用于基于 GPU 的 AI 推理解决方案之前,请先使用该指南安装驱动程序并设置系统。

此指南在装有 Ubuntu 22.04 LTS 和 Windows 11 的系统上的英特尔锐炫™ 显卡和英特尔® Data Center GPU Flex Series 上进行了测试。要使用 OpenVINO™ 工具套件 GPU 插件并将推理分载给英特尔 GPU,必须在系统上正确配置英特尔® 显卡驱动程序。

英特尔的全新独立 GPU 家族不仅可用于游戏,而且可在边缘或服务器上运行 AI。

OpenVINO 工具套件的插件架构支持在第三方硬件以及英特尔平台上优化 AI 推理。请单击此处查看受支持设备的完整列表。

它针对性能进行了优化。OpenVINO™ 工具套件可运行计算密集型深度学习模型,而将对准确度的影响降至最低。它在第 12 代及更高版本的英特尔® 酷睿™ 处理器上支持 AUTO 设备插件或线程调度等功能,可最大限度地提高效率。

OpenVINO™ 工具套件与多个框架和标准化协议高度兼容。OpenVINO™ 模型服务器使用与 TensorFlow* Serving 和 KServe 相同的架构和 API,可提高现代工作负载部署的可扩展性。

OpenVINO™ 工具套件可最大限度地缩短处理输入数据以输出预测所需的时间。决策速度更快,系统交互也更加高效。

借助模型转换 API 和 NNCF,OpenVINO 提供了多种优化技术,可提高性能并减少延迟。

阅读本模型优化指南,了解各种模型压缩选项,如量化感知训练、训练后量化等。

作为 OpenVINO™ 工具套件的一部分,OpenVINO 模型服务器允许您在一系列硬件上托管模型并高效部署应用。您无需重写代码即可实现 AI 推理加速。

  • 您可以通过通用 API(也由 KServe 使用)借助标准网络协议访问模型。
  • 利用远程 AI 推理,您可以创建需要更少更新、专注于 API 调用的轻量级客户端。
  • 用户可以独立于模型框架、硬件和基础设施进行应用开发和维护。
  • 由于不会通过客户端应用暴露拓扑和权重,因此,对模型进行访问控制变得更为简单。
  • 采用这种部署结构,可以更高效地进行横向和纵向 AI 推理扩展。

通过为您提供一组全面的工具和资源,您可以简化工作流程,同时利用 OpenVINO 优化 AI 推理和 AI 模型的真实世界性能。