与 CPU 相比，英特尔® 神经电脑棒 2 （英特尔® NCS2） 上的推理性能更慢
内容类型: 维护与性能 | 文章 ID: 000089522 | 上次审核日期: 2023 年 11 月 20 日
对于神经电脑棒 2：
[ INFO ] First inference took 33.88 ms
[Step 11/11] Dumping statistics report
Count: 2596 iterations
Duration: 60141.63 ms
Latency: 92.60 ms
Throughput: 5525.09 FPS
对于 CPU：
[ INFO ] First inference took 17.07 ms
[Step 11/11] Dumping statistics report
Count: 148124 iterations
Duration: 60001.79 ms
Latency: 1.61 ms
Throughput: 315988.43 FPS
由于CPU具有更多的计算能力，因此与英特尔® NCS2相比，CPU的性能有望更好。
英特尔® NCS2是一种加速器设备，在某些情况下会有所帮助，尤其是在需要额外计算能力时。
此外，CPU 需要 FP32 模型格式，而英特尔® NCS2需要 FP16 模型格式。FP16 可能是量化误差，因为它是从全精度模型中挤出来的，使其更小。这将影响准确性和性能。
性能指的是模型在部署中的速度，有两个关键指标：延迟和吞吐量。
在OpenVINO™中，有两种方法可以提高性能：
开发过程中：训练后优化工具 （POT）、神经网络压缩框架 （NNCF）、模型优化器。
部署期间：调优推理参数和优化模型执行。
可以将这两种方法结合起来。