跳转至主要内容
支持知识库

模型的复杂性和推理吞吐量之间的关系是什么?

内容类型: 产品信息和文件   |   文章 ID: 000059690   |   上次审核日期: 2023 年 03 月 02 日

环境

NCS2

说明

无法确定为什么基准工具报告两种非常不同的复杂性的模型(由千兆浮点运算 (GFLOP) 定义的类似推理 FPS)。

解决方法

  • 数量越多的 FLOP 直接与 FPS 数量的减少成正比。但是,FPS 和 FLOP 之间存在着相当的比较。
  • 可影响从基准工具获得的 FPS 的因素:
    • 以同步和异步模式运行
    • 流的数量
    • 推断请求数量

其他信息:

英特尔® NCS2基于具有 16 个可编程着色内核和专用神经计算引擎的英特尔® Movidius™ Myriad™ X VPU 构建。此功能提高了网络的性能。

相关产品

本文适用于 2 产品。

免责声明

本页面上的内容是原始英文内容的人工翻译与计算机翻译的组合。我们提供此内容是为了您的便利并且仅供参考,未必完整或准确。如果本页面的英文版与翻译版之间存在任何冲突,应以英文版为准。 查看此页面的英语版本。