OpenVINO™ 2023.2 发布：让生成式 AI 在实际场景中更易用
在过去的一年里，人工智能正以越来越快的速度发展，这得益于生成式 AI 模型的引入和从中受益的场景的演变。在 OpenVINO 2023.2 版本中，我们进一步优化生成式 AI 和大语言模型工作流程，并引入在 CPU 和集成显卡上运行权重量化为 int8 和 int4 精度的 LLM 的能力。权重量化直接影响内存带宽，并帮助模型更快、更高效地执行推理，因为模型消耗的内存更少了，所需的磁盘空间也更少，因此总体上需要的内存带宽也更少了！详情请下载并查看《OpenVINO™ 2023.2 发布：让生成式 AI 在实际场景中更易用》