OpenVINO™ 工具套件:一款可轻松实现“一次写入,处处部署”的开源 AI 工具套件。
最新特性
更轻松地访问和转换模型
产品 |
详细信息 |
---|---|
TensorFlow* |
通过安装 OpenVINO 分词器,改进了 TensorFlow 句子编码模型的开箱即用体验。 |
Hugging Face* |
我们将更多 OpenVINO 功能与 Hugging Face 生态系统集成,更加方便开发人员使用。将常用模型的量化配置直接存储在 Hugging Face 中,把模型压缩为 int4 格式,同时保持精度和性能。 |
生成式 AI 和 LLM 增强功能
扩展了模型支持,加快了推理过程。
功能 |
详细信息 |
---|---|
模型覆盖范围 |
全新模型和重要模型经过验证:Mistral、StableLM-tuned-alpha-3b 和 StableLM-Epoch-3B OpenVINO 现在支持一种有助于通过管道处理更高效生成式模型的全新架构 — 混合专家模型 (MoE)。 |
LLM 性能增强 |
通过内部内存状态增强和键值 (KV) 缓存的 int8 精度,在英特尔® CPU 上体验增强的 LLM 性能。专为多查询 LLM(如 ChatGLM)定制。 |
神经网络压缩框架 (NNCF) |
将流行的激活感知权重量化技术添加到 NNCF 中,提高了 LLM 的 int4 权重压缩质量。这种新增功能降低了内存要求,有助于加快令牌生成速度。 |
改进了可移植性和性能
一次开发,随处部署。通过 OpenVINO 工具套件,开发人员可以在边缘、云端或本地使用 AI。
产品 |
详细信息 |
---|---|
Arm* 硬件支持更新 |
启用 Arm 线程库,提高 Arm 平台性能。此外,我们现在支持多核 Arm 平台,在 macOS* 上默认启用了 FP16 精度。 |
英特尔硬件支持 |
英特尔® 酷睿™ Ultra 处理器(原代号为 Meteor Lake)中的集成 NPU 的预览插件架构现已包含在 Python Package Index* (PyPI) 的主要 OpenVINO 工具套件包中。 |
OpenVINO 工具套件模型服务器 |
全新和改进 LLM 服务从 OpenVINO 模型服务器取样,用于多批次输入和检索增强生成 (RAG)。 |
JavaScript* API |
JavaScript 开发人员现在可以无缝访问 OpenVIN API。这种全新绑定可实现与 JavaScript API 的无缝集成。 |
注册了解独家消息、提示和版本发布
率先了解关于英特尔® 发行版 OpenVINO™ 工具套件的一切新内容。注册后,您可以获得抢先了解产品更新和发布信息、独家受邀参加网络研讨会和活动、培训和教程资源、竞赛公告以及其他突发新闻。
资源
社区与支持
探索各种参与方式,并及时了解最新公告。