5PyTorch 模型性能配置。
PT-NLP BERT-Large:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® 超线程技术(Intel® Hyper-Threading Technology,英特尔® HT 技术),启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),BERT-Large,推理:SQuAD1.1(序列长度=384),bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,56,英特尔® AMX BF16=1,16,英特尔® AMX INT8=1,56,Trg:维基百科 2020 年 1 月 1 日(序列长度=512),bs:FP32=28,英特尔® AMX BF16=56(单实例,单路),框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,BERT-Large,推理:SQuAD1.1(序列长度=384),bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,56,INT8=1,56,Trg:维基百科 2020 年 1 月 1 日(序列长度=512),bs:FP32=28,英特尔® AMX BF16=56(单实例,单路),框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PT-DLRM:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),DLRM,推理:bs=n(单路/实例),bs:FP32=128,英特尔® AMX BF16=128,英特尔® AMX INT8=128,训练 bs:fp32/英特尔® AMX BF16=32K(单实例,单路),Criteo TB 数据集,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,DLRM,推理:bs=n(单路/实例),bs:FP32=128,INT8=128,训练 bs:FP32=32K(单实例,单路),Criteo TB 数据集,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PT-ResNets-34:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),SSD-ResNet-34,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,112,英特尔® AMX BF16=1,112,英特尔® AMX INT8=1,112,训练 bs:FP32/英特尔® AMX BF16=224(单实例,单路),COCO 2017,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,SSD--ResNet-34,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,112,INT8=1,112,训练 bs:FP32=224(单实例,单路),COCO 2017,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PT-ResNets-50:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),ResNet-50 v1.5,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,64,英特尔® AMX BF16=1,64,英特尔® AMX INT8=1,116,训练 bs:FP32,英特尔® AMX BF16=128(单实例,单路),ImageNet (224 x 224),框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个 英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,ResNet-50 v1.5,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,64,INT8=1,116,训练 bs: FP32=128(单实例,单路),ImageNet (224 x 224),框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PT-RNN-T:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),Resnext101 32x16d,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,64,英特尔® AMX BF16=1,64,英特尔® AMX INT8=1,116,ImageNet,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,Resnext101 32x16d,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,64,INT8=1,116,ImageNet,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PT-ResNext101:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个 1 TB 英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),Resnext101 32x16d,bs=n(单路/实例),推理:bs:FP32=1,64,英特尔® AMX BF16=1,64,英特尔® AMX INT8=1,116,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,Resnext101 32x16d,bs=n(单路/实例),推理:bs:FP32=1,64,INT8=1,116,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
PTMaskRCNN:8480:单节点,配备 2 个英特尔® 至强® 铂金 8480 处理器的非量产平台,总内存 1,024 GB(16 插槽/64 GB/DDR5-4800),ucode 0x2b0000a1,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,CentOS Stream 8,5.15.0,1 个英特尔® 固态盘 SC2KW256G8 (PT)/Samsung 固态盘 860 EVO (TF),MaskRCNN,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,112,英特尔® AMX BF16=1,112,训练 bs: FP32/英特尔® AMX BF16=112(单实例,单路),COCO 2017,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔 2022 年 10 月 24 日进行的测试。
8380:单节点,2 个英特尔® 至强® 铂金 8380 处理器,总内存 1,024 GB(16 插槽/64 GB/DDR4-3200),ucode 0xd000375,启用英特尔® HT 技术,启用英特尔® 睿频加速技术,Ubuntu 22.04 LTS,5.15.0-27-generic,1 个英特尔® 固态盘 SC2KG960G8,MaskRCNN,推理:bs=1(4 核/实例),bs=n(单路/实例),bs:FP32=1,112,训练bs:FP32=112(单实例,单路),COCO 2017,框架:
https://github.com/intel-innersource/frameworks.ai.pytorch.private-cpu/tree/d7607bdd983093396a70713344828a989b766a66;ModelZoo:
https://github.com/IntelAI/models/tree/spr-launch-public,PT:1.13,IPEX:1.13,oneDNN:v2.7,基于英特尔于 2022 年 10 月 24 日进行的测试。推理:ResNet-50 v1.5:ImageNet (224 x 224),SSD ResNet-34:COCO 2017 (1200 x 1200),BERT-Large:SQuAD1.1 (序列长度=384),Resnext101:ImageNet,Mask RCNN:COCO 2017,DLRM:Criteo TB 数据集,RNNT:LibriSpeech。训练:ResNet-50 v1.5:ImageNet (224 x 224),SSD ResNet-34:COCO 2017,BERT-Large:维基百科 2020 年 1 月 1 日 (序列长度=512),DLRM:Criteo TB 数据集,RNNT:LibriSpeech,Mask RCNN:COCO 2017.
8有关全球 NLP 市场规模信息的来源:Fortune Business Insights,“Natural Language Processing (NLP) Market Size, Share & COVID-19 Impact Analysis, By Deployment (On-Premises, Cloud,Hybrid), By Enterprise Size (SMEs, and Large Enterprises), By Technology (Interactive Voice Response (IVR), Optical Character Recognition (OCR), Text Analytics, Speech Analytics, Classi_cation and Categorization), By Industry Vertical (Healthcare, Retail, High Tech, and Telecom, BFSI) and Regional Forecast, 2022-2029”{按照部署(本地、云端、混合)、企业规模(中小企业和大型企业)、技术{交互式语音应答 (IVR)、光学字符识别 (OCR)、文本分析、语音分析、分类}、行业垂直领域{医疗,零售,高科技,电信及银行、金融服务和保险 (BFSI)}等类别对 2022 年至 2029 年自然语言处理 (NLP) 市场规模、占有率及新冠影响的分析及区域预测}。2021 年 6 月,
fortunebusinessinsights.com/industry-reports/natural-language-processing-nlpmarket-101933#。