全新模型支持 

支持 Phi-3-mini，这一系列 AI 模型可利用小型语言模型的强大功能，更快速、更准确、经济高效地进行文本处理。

Llama 3 针对 CPU、内置 GPU 和独立 GPU 进行了优化，可提高性能和内存使用效率。

Python*

OpenVINO 工具套件中现已启用 Python 自定义操作，便于 Python 开发人员更轻松地对其自定义操作进行编码，而不是使用 C++ 自定义操作（也受支持）。借助这种自定义操作，您可以在任何模型中实施自己的特定操作。

全新 Jupyter* Notebooks

Jupyter Notebook 扩展可确保扩大新模型的覆盖范围。添加了以下值得关注的笔记本：

• DynamiCrafter

• YOLOv10*

• 采用 Phi-3 和 Qwen2 的聊天机器人笔记本

LLM 性能增强

在神经网络压缩框架 (NNCF) 中添加了一个用于 4 位权重压缩的 GPTQ 方法，以更高效地进行推理并提高已压缩 LLM 的性能。

LLM 的性能得到显著提升，并缩短了内置和独立 GPU 的延迟。

模型服务增强

预览：OpenVINO 模型服务器现在支持兼容 OpenAI* 的 API、连续批处理和 PagedAttention，这大幅提高了并行推理吞吐量，在为大量并发用户提供 LLM 的英特尔® 至强® 处理器上尤其如此。

用于 NVIDIA Triton* 推理服务器的 OpenVINO 工具套件后端现在支持动态输入形状。

TorchServe 通过 torch.compile 集成到 OpenVINO 工具套件后端，以便更轻松地部署模型、配置到多个实例、进行模型版本控制和维护。

英特尔硬件支持 

在基于 CPU 平台（特别是小批量规模）的英特尔® Advanced Vector Extensions 2（适用于第 13 代英特尔® 酷睿™ 处理器）和英特尔® Advanced Vector Extensions 512（适用于第三代英特尔® 至强® 可扩展处理器）上，FP16 权重 LLM 的第二令牌延迟和内存占用显著降低。

预览：支持英特尔® 至强® 6 处理器。

Generate API

预览：添加了 Generate API，这是一个经简化的 API，用于仅通过几行代码使用 LLM 生成文本。全新推出的 OpenVINO 工具套件生成式 AI 程序包提供了此 API。