以不同的数据和重量格式进行权衡
- 生成两个 IR 文件(相同的 .xml 文件,但不同的 .bin 文件)
- 具有不同重量的类似模型,以不同的 fps (27fps 和 6fps) 运行
- 更多样化的权重是否会影响 Myriad X 上的推理性能?
模型重量和精度(FP32、FP16、INT8)影响推断性能。
使用 FP32 格式将导致重量的完整分布,并被称为单精度浮点。
同时,FP16 和 INT8 格式均为压缩重量格式,尺寸被压缩为更小。这些压缩的权衡是模型的准确性,或者也称为量化错误。
分配用于表示数据的位数越多,它们能代表的范围越宽,并且有可能意味着模型的越高精度。但是,更大的数据需要更大的内存空间来支持其存储,需要更高的内存带宽,并需要更多的计算资源和更多的时间被占用。
英特尔® 发行版 OpenVINO™ 工具套件 基准测试结果 描述了不同重量格式或精度之间性能的明显差异。