用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南

下载 PDF
ID 683501
日期 6/26/2023
Public
文档目录
文档目录 x
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP 2. IP架构和功能描述 3. 高级特性 4. 接口 5. 参数 6. 故障排查/调试 7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档 8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史 A. 配置空间寄存器 B. 根端口枚举 C. Endpoint模式下Address Translation Services（ATS）的实现 D. TLP Bypass模式下转发到用户应用的数据包 E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP x
1.1. 概述 1.2. 功能特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 性能和资源利用率 1.6. IP核支持级别
1.1. 概述 x
1.1.1. 标准和规范合规
1.2. 功能特性 x
1.2.1. 多功能和虚拟化功能
2. IP架构和功能描述 x
2.1. 概述 2.2. PCIe Hard IP模式 2.3. PIPE Direct Mode
2.2. PCIe Hard IP模式 x
2.2.1. 时钟 2.2.2. 复位 2.2.3. PCI Express协议堆栈
2.2.2. 复位 x
2.2.2.1. 单个PERST 2.2.2.2. 独立的PERST管脚 2.2.2.3. 独立的GPIO PERST
2.2.2.2. 独立的PERST管脚 x
2.2.2.2.1. 使用独立PERST管脚时的REFCLK和PERST指南
2.2.2.3. 独立的GPIO PERST x
2.2.2.3.1. 使用独立GPIO PERST时的REFCLK和PERST指南
2.2.3. PCI Express协议堆栈 x
2.2.3.1. PMA 2.2.3.2. 数据链路层概述 2.2.3.3. 事务层概述
2.2.3.3. 事务层概述 x
2.2.3.3.1. Deferrable Memory Write (DMWr)
2.3. PIPE Direct Mode x
2.3.1. 时钟 2.3.2. 复位 2.3.3. PIPE层
3. 高级特性 x
3.1. PCIe端口分叉和PHY通道映射 3.2. 虚拟化支持 3.3. TLP旁路模式
3.2. 虚拟化支持 x
3.2.1. SR-IOV支持 3.2.2. VirtIO支持
3.2.1. SR-IOV支持 x
3.2.1.1. SR-IOV支持的功能特性列表 3.2.1.2. 实现 3.2.1.3. VF到PF映射 3.2.1.4. 功能层复位（FLR）
3.2.1.2. 实现 x
3.2.1.2.1. VF错误标志接口（仅适用于x16/x8内核）
3.2.2. VirtIO支持 x
3.2.2.1. VirtIO支持的功能清单 3.2.2.2. 概述 3.2.2.3. 参数 3.2.2.4. VirtIO PCI配置访问接口 3.2.2.5. 寄存器
3.2.2.5. 寄存器 x
3.2.2.5.1. VirtIO Common Configuration Capability寄存器（地址: 0x012） 3.2.2.5.2. VirtIO Common Configuration Capability寄存器（地址: 0x013） 3.2.2.5.3. VirtIO Common Configuration BAR Offset寄存器（地址: 0x014） 3.2.2.5.4. VirtIO Common Configuration Structure Length寄存器（地址0x015） 3.2.2.5.5. VirtIO Notifications Capability寄存器（地址：0x016） 3.2.2.5.6. VirtIO Notifications BAR Indicator寄存器（地址：0x017） 3.2.2.5.7. VirtIO Notifications BAR Offset寄存器（地址：0x018） 3.2.2.5.8. VirtIO Notifications Structure长度寄存器（地址：0x019） 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier寄存器 (Address: 0x01A) 3.2.2.5.10. VirtIO ISR Status Capability寄存器（地址：0x02F） 3.2.2.5.11. VirtIO ISR Status BAR Indicator寄存器（地址：0x030） 3.2.2.5.12. VirtIO ISR Status BAR Offset寄存器（地址：0x031） 3.2.2.5.13. VirtIO ISR Status Structure长度寄存器（地址：0x032） 3.2.2.5.14. VirtIO Device Specific Capability寄存器（地址：0x033） 3.2.2.5.15. VirtIO Device Specific BAR Indicator寄存器（地址：0x034） 3.2.2.5.16. VirtIO Device Specific BAR Offset寄存器（地址：0x035） 3.2.2.5.17. VirtIO Device Specific Structure长度寄存器（地址：0x036） 3.2.2.5.18. VirtIO PCI Configuration Access Capability寄存器（地址：0x037） 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator寄存器（地址：0x038） 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset寄存器（地址：0x039） 3.2.2.5.21. VirtIO PCI Configuration Access Structure长度寄存器（地址：0x03A） 3.2.2.5.22. VirtIO PCI Configuration Access Data寄存器（地址：0x03B）
3.3. TLP旁路模式 x
3.3.1. 概述 3.3.2. TLP Bypass模式的寄存器设置 3.3.3. 硬IP重配置接口 3.3.4. Avalon® Streaming接口
3.3.2. TLP Bypass模式的寄存器设置 x
3.3.2.1. TLPBYPASS_ERR_EN（地址 0x1314） 3.3.2.2. TLPBYPASS_ERR_STATUS (地址：0x1310)
3.3.4. Avalon® Streaming接口 x
3.3.4.1. 配置TLP 3.3.4.2. 发送接口 3.3.4.3. 接收接口 3.3.4.4. 异常TLP 3.3.4.5. ECRC
4. 接口 x
4.1. 时钟和复位 4.2. 串行数据接口 4.3. PCI Express模式 4.4. PIPE Direct Mode
4.1. 时钟和复位 x
4.1.1. 时钟 4.1.2. 复位
4.3. PCI Express模式 x
4.3.1. Avalon® Streaming接口 4.3.2. 精确时间测量（PTM）接口（仅Endpoint） 4.3.3. 中断接口 4.3.4. 硬IP重配置接口 4.3.5. 错误（Error）接口 4.3.6. Completion Timeout接口 4.3.7. 配置拦截接口 4.3.8. 电源管理接口（Power Management Interface） 4.3.9. Hard IP状态接口 4.3.10. Page Request Services (PRS)接口（仅Endpoint） 4.3.11. Function-Level Reset (FLR)接口（仅Endpoint） 4.3.12. SR-IOV VF Error Flag接口（仅Endpoint） 4.3.13. 通用VSEC接口
4.3.1. Avalon® Streaming接口 x
4.3.1.1. Avalon® 流RX和TX接口的TLP头和数据对齐 4.3.1.2. Credit控制 4.3.1.3. Avalon® Streaming RX接口 4.3.1.4. Avalon® Streaming TX接口 4.3.1.5. 标志分配
4.3.1.2. Credit控制 x
4.3.1.2.1. Credit接口 - 数据和头 4.3.1.2.2. Credit初始化 4.3.1.2.3. Credit更新/释放 4.3.1.2.4. RX流程控制接口 4.3.1.2.5. TX流量控制接口
4.3.1.3. Avalon® Streaming RX接口 x
4.3.1.3.1. Avalon Streaming RX接口的应用逻辑指南
4.3.1.4. Avalon® Streaming TX接口 x
4.3.1.4.1. Avalon Streaming TX接口的应用逻辑指南 4.3.1.4.2. Avalon® Streaming TX接口pX_tx_st_ready_o行为
4.3.1.5. 标志分配 x
4.3.1.5.1. Completion缓冲区大小
4.3.3. 中断接口 x
4.3.3.1. 传统中断 4.3.3.2. MSI 4.3.3.3. MSI-X
4.3.3.3. MSI-X x
4.3.3.3.1. 实现MSI-X中断
4.3.8. 电源管理接口（Power Management Interface） x
4.3.8.1. D3Hot Entry（进入） 4.3.8.2. D3Hot Exit（退出） 4.3.8.3. D3Cold Entry（进入） 4.3.8.4. D3Cold Exit（退出）
4.3.8.2. D3Hot Exit（退出） x
4.3.8.2.1. Host发起的D3Hot Exit 4.3.8.2.2. EP发起的D3Hot Exit
4.4. PIPE Direct Mode x
4.4.1. 数据信号 4.4.2. 命令和状态信号 4.4.3. 消息总线信号 4.4.4. 偏移校正信号 4.4.5. PIPE Direct复位序列 4.4.6. PIPE Direct速率变化 4.4.7. PIPE Lane复位交错（Staggering） 4.4.8. PIPE Direct Mode中未使用的Lane
4.4.1. 数据信号 x
4.4.1.1. 发送信号 4.4.1.2. 接收信号
4.4.4. 偏移校正信号 x
4.4.4.1. MAC to PHY (M2P)信号 4.4.4.2. PHY to MAC (P2M)信号
5. 参数 x
5.1. 顶层设置 5.2. 内核参数
5.2. 内核参数 x
5.2.1. Avalon参数 5.2.2. 基地址寄存器 5.2.3. PCI Express和PCI Capabilities参数
5.2.3. PCI Express和PCI Capabilities参数 x
5.2.3.1. 器件Capabilities 5.2.3.2. VirtIO参数 5.2.3.3. 链路Capabilities 5.2.3.4. Legacy中断管脚寄存器 5.2.3.5. MSI Capabilities 5.2.3.6. MSI-X Capabilities 5.2.3.7. 插槽Capabilities 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. 器件序列号Capability 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. 电源管理 5.2.3.14. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)寄存器 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) Capabilities 5.2.3.17. Precision Time Measurement (PTM)
6. 故障排查/调试 x
6.1. 硬件调试 6.2. 操作系统工具和实用工具 6.3. Signal Tap逻辑分析仪 6.4. 使用Hard IP Reconfiguration接口进行调试 6.5. 可用于调试活动的其他接口 6.6. 调试工具包
6.1. 硬件调试 x
6.1.1. 调试链路训练问题 6.1.2. 调试器件枚举问题 6.1.3. 调试数据传输和性能问题
6.1.3. 调试数据传输和性能问题 x
6.1.3.1. 高级错误报告（AER）
6.2. 操作系统工具和实用工具 x
6.2.1. 使用lspci实用工具读取协商链路速度
6.4. 使用Hard IP Reconfiguration接口进行调试 x
6.4.1. 使用Hard IP Reconfiguration接口使能并读取ECRC和LCRC错误计数
6.6. 调试工具包 x
6.6.1. 概述 6.6.2. 使能R-Tile Debug Toolkit 6.6.3. 启动R-Tile Debug Toolkit 6.6.4. 使用R-Tile Debug Toolkit
6.6.4. 使用R-Tile Debug Toolkit x
6.6.4.1. R-Tile信息 6.6.4.2. 事件计数器 6.6.4.3. Link Inspector 6.6.4.4. 配置空间 6.6.4.5. 通道参数
6.6.4.5. 通道参数 x
6.6.4.5.1. General PHY（通用PHY） 6.6.4.5.2. Tx数据路径 6.6.4.5.3. Rx数据路径 6.6.4.5.4. 通道裕量
C. Endpoint模式下Address Translation Services（ATS）的实现 x
C.1. 发送Translated/Untranslated请求 C.2. 从Endpoint (EP)向Root Complex (RC)发送Page Request Message C.3. 验证Requests/Completions无效
D. TLP Bypass模式下转发到用户应用的数据包 x
D.1. EP TLP Bypass模式（上游） D.2. RC TLP Bypass模式（下游）
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量 x
E.1. 边距裕量掩膜概述 E.2. 5x5测试效率 E.3. Debug Toolkit工具包裕量方法论
E.2. 5x5测试效率 x
E.2.1. 首次测试 E.2.2. 抽查测试
E.3. Debug Toolkit工具包裕量方法论 x
E.3.1. Debug Toolkit工具包测试流程
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP
2. IP架构和功能描述
3. 高级特性
4. 接口
5. 参数
6. 故障排查/调试
7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档
8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史
A. 配置空间寄存器
B. 根端口枚举
C. Endpoint模式下Address Translation Services（ATS）的实现
D. TLP Bypass模式下转发到用户应用的数据包
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量

4.3.1.3. Avalon® Streaming RX接口

Application Layer通过 Avalon® Streaming RX接口接收从R-Tile PCI Express IP核的Transaction Layer来的数据。对于R-Tile，rx_st_ready_i必须始终保持在高电平。应用程序逻辑中的缓冲控制需要由RX Flow Control接口来处理。请参阅RX流程控制接口了解更多详细信息。

当R-Tile IP在1x16配置下操作时，该接口支持每周期四个rx_st_sop_o信号和四个rx_st_eop_o信号。

在双宽度配置的Configuration Mode 0 (1x16) 下，内核提供四个段，每个段具有256位数据（pX_rx_stN_data_o[255:0])，128位标头 (pX_rx_stN_hdr_o[127:0]）和32位TLP前缀（(pX_rx_stN_prefix_o[31:0]）。如果该内核配置为1x16模式，则数据总线成为1024位总线。

双宽度配置的Configuration Mode 1 (2x8)中，仍然有四个 Avalon® Streaming段（每个x8端口两个）。

由32:1 XOR完成奇偶校验生成（即，每32个数据，头或前缀位有一个奇偶校验位）。

表 55.  Avalon Streaming RX接口信号
信号名称 方向 描述 EP/RP/BP 时钟域
pX_rx_stN_data_o[W:0]其中

X = 0,1,2,3（IP核个数）并且W的值因为内核的不同而不同。

N = 0,1,2,3（段数）

 输出 这是Receive数据总线。Application Layer接收从该总线上IP核的Transaction Layer来的数据。 EP/RP/BP coreclkout_hip
pX_rx_stN_hdr_o[127:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 这是接收到的头，其遵循PCIe specifications指定的TLP头格式。 EP/RP/BP coreclkout_hip
pX_rx_stN_prefix_o[31:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

这是接收到的第一个TLP前缀，它遵循PCIe规范指定的TLP前缀格式。支持PASID。

当对应的rx_st_sop_o被置位时，该信号有效。

TLP前缀使用Big Endian实现（例如，Fmt字段在位[31:29]中，Type字段在位[28:24]中）。

如果给定的TLP无前缀，则该双字（dword）（包括Fmt字段）为全零。

 EP/RP/BP coreclkout_hip
pX_rx_stN_sop_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

在该信号与对应的rx_stN_valid_o位同时被置位时，发出第一个周期的TLP信号。

rx_stN_sop_o：置位时，发送rx_stN_data_o[255:0]上TLP开始的信号。

例如，置位后，rx_st2_sop_o发送rx_st2_data_o[255:0]上TLP开始的信号。

EP/RP/BP coreclkout_hip
pX_rx_stN_eop_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

在该信号与对应的rx_stN_valid_o位同时被置位时，发出最后一个周期的TLP信号。

rx_stN_eop_o：置位时，发送rx_stN_data_o[255:0]上TLP结束的信号。

例如，置位后，rx_st2_eop_o发送rx_st2_data_o[255:0]上TLP结束的信号。

EP/RP/BP coreclkout_hip
pX_rx_stN_dvalid_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 这些信号认证进入Application Layer的rx_stN_data_o信号。 EP/RP/BP coreclkout_hip
pX_rx_stN_hvalid_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 这些信号认证发往Application Layer的rx_stN_hdr_o信号。 EP/RP/BP coreclkout_hip
pX_rx_stN_pvalid_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 这些信号认证发往Application Layer的rx_stN_prefix_o信号。 EP/RP/BP coreclkout_hip
pX_rx_stN_data_par_o[Z:0]其中

X = 0,1,2,3（IP核个数）并且Z因为核的不同而不同。

N = 0,1,2,3（段数）

 输出 rx_stN_data_o的奇偶校验信号 。 EP/RP/BP coreclkout_hip
pX_rx_stN_hdr_par_o[3:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 rx_stN_hdr_o的奇偶校验信号 。 EP/RP/BP coreclkout_hip
pX_rx_stN_prefix_par_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出 rx_stN_prefix_o的奇偶校验信号。 EP/RP/BP coreclkout_hip
pX_rx_st_ready_i 输入 指示Application Layer已经准备好接收信号。该信号应该始终设置为1。RX侧的Flow Control通过Credit Control Interface处理。 EP/RP/BP coreclkout_hip
pX_rx_stN_empty_o[2:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

指定rx_stN_eop_o信号被置位时，周期中空双字的数量。未置位rx_stN_eop_o信号时，这些信号无效。

EP/RP/BP coreclkout_hip
pX_rx_stN_bar_o[2:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

为要输出的TLP指定BAR。

当rx_stN_sop_o和rx_stN_valid_o置位时，这些输出有效。

EP/RP coreclkout_hip
pX_rx_stN_vfactive_o其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

置位后，这些信号指示接收到的TLP是针对虚拟功能。解除置位这些信号后，接收到的TLP是针对物理功能，而rx_stN_pfnum_o信号指示功能编号。

当对应的rx_stN_sop_o置位时，该信号有效。

EP/RP coreclkout_hip
pX_rx_stN_vfnum_o[10:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

指定接收的TLP的目标VF数。应用程序将此信息用于request和completion TLP。对于completion TLP，这些位指定该completion TLP的requester的VF个数。

当rx_stN_vf_active_o和对应的rx_stN_sop_o置位时，这些信号有效。

EP/RP coreclkout_hip
pX_rx_stN_pfnum_o[2:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输出

指定接收的TLP的目标物理功能编号。

当对应的rx_stN_sop_o置位时，该信号有效。

EP/RP coreclkout_hip
例如，以下的 Avalon® Streaming RX接口时序显示具有多个TLP的Avalon Streaming RX接口的行为，以及其中跨越多个段的每个TLP的行为。以下文本描述每个周期的波形：
  1. 时钟周期1：应用逻辑置位p0_rx_st_ready_i信号。该信号必须始终设置为高电平。RX流量控制必须由使用RX Flow Control接口的Application逻辑处理（请参阅RX流程控制接口了解详细信息）。
  2. 时钟周期2：
    1. 置位p0_rx_st1_sop_o时，第一个TLP (T0)的开始到达segment 1。
    2. 置位信号p0_rx_st1_hvalid_o以验证p0_rx_st1_hdr_o总线中第一个TLP (T0H0) 的头。
    3. 置位信号p0_rx_st1_dvalid_o以验证p0_rx_st1_data_o总线中第一个TLP (T0D0) 的数据。
    4. 该第一个TLP (T0)的结尾在segment 2中，由置位p0_rx_st2_eop_o来标记。
    5. 置位信号p0_rx_st2_dvalid_o以验证p0_rx_st2_data_o总线中该第一个TLP (T0D1)的数据。
    6. 总线p0_rx_st2_empty_o指示p0_rx_st2_data_o总线（T0D1）中无效的双字个数。
  3. 时钟周期3：
    1. 下一个TLP (T1)达到segment 1，由置位p0_rx_st1_sop_o来标记。
    2. 置位信号p0_rx_st1_hvalid_o以验证p0_rx_st1_hdr_o总线中该TLP (T1H0)的头。
    3. 置位信号p0_rx_st1_dvalid_o以验证p0_rx_st1_data_o 总线中该TLP (T1D0)的数据。
    4. 置位该信号p0_rx_st2_dvalid_o以验证p0_rx_st2_data_o总线中该TLP (T1D1)的数据。
    5. 置位信号p0_rx_st3_dvalid_o 以验证p0_rx_st3_data_o总线中该TLP (T1D2)的数据。
  4. 时钟周期4：
    1. T1 TLP的结尾在segment 0中，由置位p0_rx_st0_eop_o来标记。
    2. 置位该信号p0_rx_st0_dvalid_o以验证p0_rx_st0_data_o 总线中该TLP (T1D3)的数据。
    3. 总线p0_rx_st0_empty_o指示p0_rx_st0_data_o总线(T1D3)中无效双字的个数。

下一个TLP达到segment 1中的下一个时钟周期并在segment 0中结束。

图 31.  Avalon® Streaming RX接口时序

本章节内容
Avalon Streaming RX接口的应用逻辑指南

二级标题