支持知识库

为什么选择使用 Optimum 英特尔/神经网络压缩框架（NNCF）进行权重压缩的 FP16 模型？

内容类型: 故障排除 | 文章 ID: 000098174 | 上次审核日期: 2024 年 03 月 21 日

说明解决方法

说明

无法确定使用 Optimum Intel / NNCF 在重量压缩中选择 FP16 模型的原因。

FP16 半精度可将 FP32 精度的模型大小减半，并且可以在使用一半的 GPU 资源的情况下获得几乎相同的推理结果。

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考，未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突，应以英文版为准。查看此页面的英语版本。