用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南

下载 PDF
ID 683501
日期 6/26/2023
Public
文档目录
文档目录 x
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP 2. IP架构和功能描述 3. 高级特性 4. 接口 5. 参数 6. 故障排查/调试 7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档 8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史 A. 配置空间寄存器 B. 根端口枚举 C. Endpoint模式下Address Translation Services（ATS）的实现 D. TLP Bypass模式下转发到用户应用的数据包 E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP x
1.1. 概述 1.2. 功能特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 性能和资源利用率 1.6. IP核支持级别
1.1. 概述 x
1.1.1. 标准和规范合规
1.2. 功能特性 x
1.2.1. 多功能和虚拟化功能
2. IP架构和功能描述 x
2.1. 概述 2.2. PCIe Hard IP模式 2.3. PIPE Direct Mode
2.2. PCIe Hard IP模式 x
2.2.1. 时钟 2.2.2. 复位 2.2.3. PCI Express协议堆栈
2.2.2. 复位 x
2.2.2.1. 单个PERST 2.2.2.2. 独立的PERST管脚 2.2.2.3. 独立的GPIO PERST
2.2.2.2. 独立的PERST管脚 x
2.2.2.2.1. 使用独立PERST管脚时的REFCLK和PERST指南
2.2.2.3. 独立的GPIO PERST x
2.2.2.3.1. 使用独立GPIO PERST时的REFCLK和PERST指南
2.2.3. PCI Express协议堆栈 x
2.2.3.1. PMA 2.2.3.2. 数据链路层概述 2.2.3.3. 事务层概述
2.2.3.3. 事务层概述 x
2.2.3.3.1. Deferrable Memory Write (DMWr)
2.3. PIPE Direct Mode x
2.3.1. 时钟 2.3.2. 复位 2.3.3. PIPE层
3. 高级特性 x
3.1. PCIe端口分叉和PHY通道映射 3.2. 虚拟化支持 3.3. TLP旁路模式
3.2. 虚拟化支持 x
3.2.1. SR-IOV支持 3.2.2. VirtIO支持
3.2.1. SR-IOV支持 x
3.2.1.1. SR-IOV支持的功能特性列表 3.2.1.2. 实现 3.2.1.3. VF到PF映射 3.2.1.4. 功能层复位（FLR）
3.2.1.2. 实现 x
3.2.1.2.1. VF错误标志接口（仅适用于x16/x8内核）
3.2.2. VirtIO支持 x
3.2.2.1. VirtIO支持的功能清单 3.2.2.2. 概述 3.2.2.3. 参数 3.2.2.4. VirtIO PCI配置访问接口 3.2.2.5. 寄存器
3.2.2.5. 寄存器 x
3.2.2.5.1. VirtIO Common Configuration Capability寄存器（地址: 0x012） 3.2.2.5.2. VirtIO Common Configuration Capability寄存器（地址: 0x013） 3.2.2.5.3. VirtIO Common Configuration BAR Offset寄存器（地址: 0x014） 3.2.2.5.4. VirtIO Common Configuration Structure Length寄存器（地址0x015） 3.2.2.5.5. VirtIO Notifications Capability寄存器（地址：0x016） 3.2.2.5.6. VirtIO Notifications BAR Indicator寄存器（地址：0x017） 3.2.2.5.7. VirtIO Notifications BAR Offset寄存器（地址：0x018） 3.2.2.5.8. VirtIO Notifications Structure长度寄存器（地址：0x019） 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier寄存器 (Address: 0x01A) 3.2.2.5.10. VirtIO ISR Status Capability寄存器（地址：0x02F） 3.2.2.5.11. VirtIO ISR Status BAR Indicator寄存器（地址：0x030） 3.2.2.5.12. VirtIO ISR Status BAR Offset寄存器（地址：0x031） 3.2.2.5.13. VirtIO ISR Status Structure长度寄存器（地址：0x032） 3.2.2.5.14. VirtIO Device Specific Capability寄存器（地址：0x033） 3.2.2.5.15. VirtIO Device Specific BAR Indicator寄存器（地址：0x034） 3.2.2.5.16. VirtIO Device Specific BAR Offset寄存器（地址：0x035） 3.2.2.5.17. VirtIO Device Specific Structure长度寄存器（地址：0x036） 3.2.2.5.18. VirtIO PCI Configuration Access Capability寄存器（地址：0x037） 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator寄存器（地址：0x038） 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset寄存器（地址：0x039） 3.2.2.5.21. VirtIO PCI Configuration Access Structure长度寄存器（地址：0x03A） 3.2.2.5.22. VirtIO PCI Configuration Access Data寄存器（地址：0x03B）
3.3. TLP旁路模式 x
3.3.1. 概述 3.3.2. TLP Bypass模式的寄存器设置 3.3.3. 硬IP重配置接口 3.3.4. Avalon® Streaming接口
3.3.2. TLP Bypass模式的寄存器设置 x
3.3.2.1. TLPBYPASS_ERR_EN（地址 0x1314） 3.3.2.2. TLPBYPASS_ERR_STATUS (地址：0x1310)
3.3.4. Avalon® Streaming接口 x
3.3.4.1. 配置TLP 3.3.4.2. 发送接口 3.3.4.3. 接收接口 3.3.4.4. 异常TLP 3.3.4.5. ECRC
4. 接口 x
4.1. 时钟和复位 4.2. 串行数据接口 4.3. PCI Express模式 4.4. PIPE Direct Mode
4.1. 时钟和复位 x
4.1.1. 时钟 4.1.2. 复位
4.3. PCI Express模式 x
4.3.1. Avalon® Streaming接口 4.3.2. 精确时间测量（PTM）接口（仅Endpoint） 4.3.3. 中断接口 4.3.4. 硬IP重配置接口 4.3.5. 错误（Error）接口 4.3.6. Completion Timeout接口 4.3.7. 配置拦截接口 4.3.8. 电源管理接口（Power Management Interface） 4.3.9. Hard IP状态接口 4.3.10. Page Request Services (PRS)接口（仅Endpoint） 4.3.11. Function-Level Reset (FLR)接口（仅Endpoint） 4.3.12. SR-IOV VF Error Flag接口（仅Endpoint） 4.3.13. 通用VSEC接口
4.3.1. Avalon® Streaming接口 x
4.3.1.1. Avalon® 流RX和TX接口的TLP头和数据对齐 4.3.1.2. Credit控制 4.3.1.3. Avalon® Streaming RX接口 4.3.1.4. Avalon® Streaming TX接口 4.3.1.5. 标志分配
4.3.1.2. Credit控制 x
4.3.1.2.1. Credit接口 - 数据和头 4.3.1.2.2. Credit初始化 4.3.1.2.3. Credit更新/释放 4.3.1.2.4. RX流程控制接口 4.3.1.2.5. TX流量控制接口
4.3.1.3. Avalon® Streaming RX接口 x
4.3.1.3.1. Avalon Streaming RX接口的应用逻辑指南
4.3.1.4. Avalon® Streaming TX接口 x
4.3.1.4.1. Avalon Streaming TX接口的应用逻辑指南 4.3.1.4.2. Avalon® Streaming TX接口pX_tx_st_ready_o行为
4.3.1.5. 标志分配 x
4.3.1.5.1. Completion缓冲区大小
4.3.3. 中断接口 x
4.3.3.1. 传统中断 4.3.3.2. MSI 4.3.3.3. MSI-X
4.3.3.3. MSI-X x
4.3.3.3.1. 实现MSI-X中断
4.3.8. 电源管理接口（Power Management Interface） x
4.3.8.1. D3Hot Entry（进入） 4.3.8.2. D3Hot Exit（退出） 4.3.8.3. D3Cold Entry（进入） 4.3.8.4. D3Cold Exit（退出）
4.3.8.2. D3Hot Exit（退出） x
4.3.8.2.1. Host发起的D3Hot Exit 4.3.8.2.2. EP发起的D3Hot Exit
4.4. PIPE Direct Mode x
4.4.1. 数据信号 4.4.2. 命令和状态信号 4.4.3. 消息总线信号 4.4.4. 偏移校正信号 4.4.5. PIPE Direct复位序列 4.4.6. PIPE Direct速率变化 4.4.7. PIPE Lane复位交错（Staggering） 4.4.8. PIPE Direct Mode中未使用的Lane
4.4.1. 数据信号 x
4.4.1.1. 发送信号 4.4.1.2. 接收信号
4.4.4. 偏移校正信号 x
4.4.4.1. MAC to PHY (M2P)信号 4.4.4.2. PHY to MAC (P2M)信号
5. 参数 x
5.1. 顶层设置 5.2. 内核参数
5.2. 内核参数 x
5.2.1. Avalon参数 5.2.2. 基地址寄存器 5.2.3. PCI Express和PCI Capabilities参数
5.2.3. PCI Express和PCI Capabilities参数 x
5.2.3.1. 器件Capabilities 5.2.3.2. VirtIO参数 5.2.3.3. 链路Capabilities 5.2.3.4. Legacy中断管脚寄存器 5.2.3.5. MSI Capabilities 5.2.3.6. MSI-X Capabilities 5.2.3.7. 插槽Capabilities 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. 器件序列号Capability 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. 电源管理 5.2.3.14. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)寄存器 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) Capabilities 5.2.3.17. Precision Time Measurement (PTM)
6. 故障排查/调试 x
6.1. 硬件调试 6.2. 操作系统工具和实用工具 6.3. Signal Tap逻辑分析仪 6.4. 使用Hard IP Reconfiguration接口进行调试 6.5. 可用于调试活动的其他接口 6.6. 调试工具包
6.1. 硬件调试 x
6.1.1. 调试链路训练问题 6.1.2. 调试器件枚举问题 6.1.3. 调试数据传输和性能问题
6.1.3. 调试数据传输和性能问题 x
6.1.3.1. 高级错误报告（AER）
6.2. 操作系统工具和实用工具 x
6.2.1. 使用lspci实用工具读取协商链路速度
6.4. 使用Hard IP Reconfiguration接口进行调试 x
6.4.1. 使用Hard IP Reconfiguration接口使能并读取ECRC和LCRC错误计数
6.6. 调试工具包 x
6.6.1. 概述 6.6.2. 使能R-Tile Debug Toolkit 6.6.3. 启动R-Tile Debug Toolkit 6.6.4. 使用R-Tile Debug Toolkit
6.6.4. 使用R-Tile Debug Toolkit x
6.6.4.1. R-Tile信息 6.6.4.2. 事件计数器 6.6.4.3. Link Inspector 6.6.4.4. 配置空间 6.6.4.5. 通道参数
6.6.4.5. 通道参数 x
6.6.4.5.1. General PHY（通用PHY） 6.6.4.5.2. Tx数据路径 6.6.4.5.3. Rx数据路径 6.6.4.5.4. 通道裕量
C. Endpoint模式下Address Translation Services（ATS）的实现 x
C.1. 发送Translated/Untranslated请求 C.2. 从Endpoint (EP)向Root Complex (RC)发送Page Request Message C.3. 验证Requests/Completions无效
D. TLP Bypass模式下转发到用户应用的数据包 x
D.1. EP TLP Bypass模式（上游） D.2. RC TLP Bypass模式（下游）
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量 x
E.1. 边距裕量掩膜概述 E.2. 5x5测试效率 E.3. Debug Toolkit工具包裕量方法论
E.2. 5x5测试效率 x
E.2.1. 首次测试 E.2.2. 抽查测试
E.3. Debug Toolkit工具包裕量方法论 x
E.3.1. Debug Toolkit工具包测试流程
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP
2. IP架构和功能描述
3. 高级特性
4. 接口
5. 参数
6. 故障排查/调试
7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档
8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史
A. 配置空间寄存器
B. 根端口枚举
C. Endpoint模式下Address Translation Services（ATS）的实现
D. TLP Bypass模式下转发到用户应用的数据包
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量

4.3.1.4. Avalon® Streaming TX接口

应用层通过 Avalon® -ST TX接口将数据发送到R-Tile PCI Express IP核将数据传输到事务层。R-Tile PCI Express IP核必须在发送之前置位pX_tx_st_ready_o。

如果R-Tile PCI Express IP核以双宽度配置Configuration Mode 0 (1x16)配置，则有四个256位数据宽度的段，从而允许每周期多个 TLP。这意味着有四个pX_tx_stN_sop_i信号和四个pX_tx_stN_eop_i用于Configuration Mode 0 (1x16)。

该接口也不遵循pX_tx_st_ready_o和pX_tx_stN_dvalid_i信号之间由Avalon 接口规范指定的固定延迟。

Configuration Mode 0 (1x16) 和双宽度配置下的R-Tile PCI Express 核提供四个段，每个段有256位数据（pX_tx_stN_data_i[255:0]），128位头（pX_tx_stN_hdr_i[127:0]）和32位TLP前缀（pX_tx_stN_prefix_i[31:0]）。如果该核以Configuration Mode 0 (1x16)配置，则全部四个段都被使用，于是数据总线成为总共1024位总线，由pX_tx_st0_data_i[255:0]，pX_tx_st1_data_i[255:0]，pX_tx_st2_data_i[255:0]和pX_tx_st3_data_1[255:0]组成。

由32:1 XOR完成奇偶校验生成（即，每32个数据，头或前缀位有一个奇偶校验位）。

表 57.  Avalon Streaming TX接口信号
信号名称 方向 描述 EP/RP/BP 时钟域
pX_tx_stN_data_i[255:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

用于发送的Application Layer数据。数据总线以多个256位的段组织而成。在x16模式下，所有4个段都被有效用于形成1024位数据总线。在x8模式下，2个段被用于组成一个512位数据总线。在x4模式下，每个256位的段是一个独立的总线。

Application Layer必须为TX接口提供正确格式的TLP。当对应的tx_stN_valid_i信号被置位时，数据有效。

报文TLP的映射与Transaction Layer TLP的映射相同都具有4个双字头。用于头（header）中长度和地址字段的数据周期数必须正确。发布具有错误数据周期数的数据包会导致TX接口挂起并且接收进一步的请求。

请注意： tx_stN_sop_i和tx_stN_eop_i周期之间不得有空闲周期，除非解除置位tx_st_ready_o时存在背压。 		EP/RP/BP coreclkout_hip
pX_tx_stN_hdr_i[127:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入 这是要发送的头，遵循PCIe规范规定的TLP头的格式。请参考以下指导：
  • R-Tile Avalon® Streaming Intel FPGA IP for PCIe以EP或RP模式配置，则会自动计算Completer/Requester ID，并且应用程序逻辑不需要将此信息作为发送中的TLP头的一部分来提供。请注意，当此IP以TLP Bypass模式配置时，本指导内容不适用。
  • 当R-Tile Avalon® Streaming Intel FPGA IP for PCIe以EP模式配置时，SR-IOV被启用，请遵循SR-IOV支持实现中BDF约束部分的内容。

当tx_stN_sop_i信号被置位时，该信号有效

EP/RP/BP coreclkout_hip
pX_tx_stN_prefix_i[31:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

要传输的TLP前缀，它遵循PCIe规范指定的TLP前缀格式。支持PASID。

当对应的tx_stN_sop_i信号置位时，这些信号有效。

TLP前缀使用Big Endian实现（即，Fmt字段在位[31:29]中，Type字段在位[28:24]中）。

如果给定的TLP无前缀，则该双字（dword）（包括Fmt字段）为全零。

 EP/RP/BP coreclkout_hip
pX_tx_stN_sop_i其中

X = 0,1,2,3（IP核个数）

N = 2,3（段数）

 输入 与tx_stN_valid_i的对应位一起被置位时，指示TLP的第一个周期。对于x16配置：
  • tx_st3_sop_i：置位后，指示tx_st3_data_i[255:0]中的TLP开始。
  • tx_st2_sop_i：置位后，指示tx_st2_data_i[255:0]中的TLP开始。
  • tx_st1_sop_i：置位后，指示tx_st1_data_i[255:0]中的TLP开始。
  • tx_st0_sop_i：置位后，指示tx_st0_data_i[255:0]中的TLP开始。

这些信号在每个TLP被置位一个时钟周期。它们还认证对应的tx_stN_hdr_i和tx_stN_tlp_prfx_i信号。

注： pX_tx_stN_sop_i 脉冲只能在segments 0和/或2 (st0和/或st2)上发送。
EP/RP/BP coreclkout_hip
pX_tx_stN_eop_i其中

X = 0,1,2,3 （IP核个数）

N = 0,1,2,3（段数）

 输入 与tx_stN_valid_i的对应位一起被置位时，指示TLP的最后一个周期。对于x16配置：
  • tx_st3_eop_i：置位后，指示tx_st3_data_i[255:0]中的TLP结束。
  • tx_st2_eop_i：置位后，指示tx_st2_data_i[255:0]中的TLP结束。
  • tx_st1_eop_i：置位后，指示tx_st1_data_i[255:0]中的TLP结束。
  • tx_st0_eop_i：置位后，指示tx_st0_data_i[255:0]中的TLP结束。

这些信号在每个TLP被置位一个时钟周期。

 EP/RP/BP coreclkout_hip
pX_tx_stN_dvalid_i其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

认证发送到IP核中的tx_stN_data_i对应段的数据处于就绪周期。

要加速时序收敛，Intel建议您寄存tx_st_ready_o和tx_stN_dvalid_i信号。

EP/RP/BP coreclkout_hip
pX_tx_stN_hvalid_i其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

认证发送到IP核中的tx_stN_data_i对应段的头处于就绪周期。

要加速时序收敛，英特尔建议您寄存tx_st_ready_o和tx_stN_hvalid_i信号。

EP/RP/BP coreclkout_hip
pX_tx_stN_pvalid_i其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

认证发送到IP核中的tx_stN_data_i对应段的前缀处于就绪周期。

要加速时序收敛，Intel建议您寄存tx_st_ready_o和tx_stN_pvalid_i信号。

EP/RP/BP coreclkout_hip
pX_tx_stN_data_par_i[Z:0]其中

X = 0,1,2,3（IP核个数）并且Z因为核的不同而不同。

N = 0,1,2,3（段数）

 输入

tx_stN_data_i的奇偶校验。Bit [0]对应于tx_stN_data_i[31:0]，bit [1]对应于tx_stN_data_i[63:32]，依此类推。

默认情况下，PCIe Hard IP生成TX数据的奇偶校验。

 EP/RP/BP coreclkout_hip
pX_tx_stN_hdr_par_i[3:0]其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

tx_stN_hdr_i的奇偶校验。

默认情况下，PCIe Hard IP生成TX头的奇偶校验。

 EP/RP/BP coreclkout_hip
pX_tx_stN_prefix_par_i其中

X = 0,1,2,3（IP核个数）

N = 0,1,2,3（段数）

 输入

tx_stN_tlp_prfx_i的奇偶校验。

默认情况下，PCIe Hard IP生成TX TLP前缀的奇偶校验。

 EP/RP/BP coreclkout_hip
pX_tx_st_ready_o其中

X =0,1,2,3（IP核个数）

 输出

指示PCIe Hard IP已准备好接受数据。

当tx_st_ready_o被R-Tile Avalon Streaming Intel FPGA IP for PCIe驱动到高电平时，Application逻辑可能会将tx_stN_valid_i信号置位高并传输数据。

当tx_st_ready_o被R-Tile Avalon Streaming Intel FPGA IP for PCIe驱动到低电平，Application逻辑必须在最多16个时钟周期内将tx_stN_valid_i驱动到低电平。

请参阅Avalon Streaming TX Interface pX_tx_st_ready_o Behavior 了解更多信息。

可解除置位pX_tx_st_ready_o信号的情况如下：
  • LTSSM不处于L0状态。
  • TLP重试正在进行中。
  • R-Tile Avalon-ST IP正在忙于发送内部生成的TLP。
  • 内部R-Tile TX FIFO已满。
 EP/RP/BP coreclkout_hip

例如，以下 Avalon® Streaming TX接口时序显示了在具有跨多个段的数据的back-to-back TLP情况下，Avalon Streaming TX接口的行为。如下文本描述了每个时钟周期的波形。

  1. 时钟周期1：R-Tile Intel FPGA IP for PCI Express置位p0_tx_st_ready_o信号，指示Hard IP已准备接受从Application逻辑来的TLP。
  2. 时钟周期2：
    1. 第一个TLP (T0)的开始在segment 0中，由置位p0_tx_st0_sop_i来指示。
    2. 置位信号p0_tx_st0_hvalid_i以验证p0_tx_st0_hdr_i总线中第一个TLP (T0H0)的头。
    3. 置位信号p0_tx_st0_dvalid_i来验证p0_tx_st0_data_i总线中第一个TLP (T0D0)的数据。
    4. 置位 p0_tx_st1_dvalid_i来验证p0_tx_st1_data_i总线中第一个TLP (T0D1)数据的下一个部分。
    5. 置位该信号p0_tx_st2_dvalid_i以验证p0_tx_st2_data_i总线中第一个TLP (T0D2)的数据的下一个部分 。
    6. 置位信号 p0_tx_st3_dvalid_i来验证p0_tx_st3_data_i总线中第一个TLP (T0D3)的数据的最后部分。
    7. 第一个TLP (T0)的结尾在segment 3中，由置位p0_tx_st3_eop_i来标记。
  3. 时钟周期3：
    1. 下一个TLP (T1)，到达segment 0，由p0_tx_st0_sop_i保持在高电平作为标记。
    2. 置位该信号p0_tx_st0_hvalid_i以验证p0_tx_st0_hdr_i总线中此TLP (T1H0)的头。
    3. 置位信号p0_tx_st0_dvalid_i以验证p0_tx_st0_data_i总线中此TLP (T1D0)的数据
    4. 置位信号p0_tx_st1_dvalid_i，以验证p0_tx_st1_data_i总线中此TLP (T1D1)数据的下一个部分。
    5. 置位信号p0_tx_st2_dvalid_i以验证p0_tx_st2_data_i总线中该TLP (T1D2)数据的下一个部分。
    6. 置位信号p0_tx_st3_dvalid_i以验证p0_tx_st3_data_i总线中TLP (T1D2)数据的最后部分。
    7. TLP (T1)的结尾在segment 3中，通过将p0_tx_st3_eop_i保持在高电平作为标记。
图 32.  Avalon® Streaming TX接口时序
注： 对于Configuration Mode 0 (1x16)，TLP（pX_tx_stN_sop_i）的开始只能发生在段0（st0）或段2（st2）。

本章节内容
Avalon Streaming TX接口的应用逻辑指南
Avalon Streaming TX接口pX_tx_st_ready_o行为

二级标题