文章 ID: 000088030 内容类型: 故障排除 上次审核日期: 2023 年 05 月 15 日

为什么将不同的权重应用于模型会影响推理性能?

BUILT IN - ARTICLE INTRO SECOND COMPONENT
总结

以不同的数据和重量格式进行权衡

说明
  1. 生成两个 IR 文件(相同的 .xml 文件,但不同的 .bin 文件)
  2. 具有不同重量的类似模型,以不同的 fps (27fps 和 6fps) 运行
  3. 更多样化的权重是否会影响 Myriad X 上的推理性能?
解决方法

模型重量和精度(FP32、FP16、INT8)影响推断性能。

使用 FP32 格式将导致重量的完整分布,并被称为单精度浮点。

同时,FP16 和 INT8 格式均为压缩重量格式,尺寸被压缩为更小。这些压缩的权衡是模型的准确性,或者也称为量化错误。

分配用于表示数据的位数越多,它们能代表的范围越宽,并且有可能意味着模型的越高精度。但是,更大的数据需要更大的内存空间来支持其存储,需要更高的内存带宽,并需要更多的计算资源和更多的时间被占用。

英特尔® 发行版 OpenVINO™ 工具套件 基准测试结果 描述了不同重量格式或精度之间性能的明显差异。

相关产品

本文适用于 2 产品

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考,未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突,应以英文版为准。 查看此页面的英语版本。