用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南

下载 PDF
ID 683501
日期 6/26/2023
Public
文档目录
文档目录 x
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP 2. IP架构和功能描述 3. 高级特性 4. 接口 5. 参数 6. 故障排查/调试 7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档 8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史 A. 配置空间寄存器 B. 根端口枚举 C. Endpoint模式下Address Translation Services（ATS）的实现 D. TLP Bypass模式下转发到用户应用的数据包 E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP x
1.1. 概述 1.2. 功能特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 性能和资源利用率 1.6. IP核支持级别
1.1. 概述 x
1.1.1. 标准和规范合规
1.2. 功能特性 x
1.2.1. 多功能和虚拟化功能
2. IP架构和功能描述 x
2.1. 概述 2.2. PCIe Hard IP模式 2.3. PIPE Direct Mode
2.2. PCIe Hard IP模式 x
2.2.1. 时钟 2.2.2. 复位 2.2.3. PCI Express协议堆栈
2.2.2. 复位 x
2.2.2.1. 单个PERST 2.2.2.2. 独立的PERST管脚 2.2.2.3. 独立的GPIO PERST
2.2.2.2. 独立的PERST管脚 x
2.2.2.2.1. 使用独立PERST管脚时的REFCLK和PERST指南
2.2.2.3. 独立的GPIO PERST x
2.2.2.3.1. 使用独立GPIO PERST时的REFCLK和PERST指南
2.2.3. PCI Express协议堆栈 x
2.2.3.1. PMA 2.2.3.2. 数据链路层概述 2.2.3.3. 事务层概述
2.2.3.3. 事务层概述 x
2.2.3.3.1. Deferrable Memory Write (DMWr)
2.3. PIPE Direct Mode x
2.3.1. 时钟 2.3.2. 复位 2.3.3. PIPE层
3. 高级特性 x
3.1. PCIe端口分叉和PHY通道映射 3.2. 虚拟化支持 3.3. TLP旁路模式
3.2. 虚拟化支持 x
3.2.1. SR-IOV支持 3.2.2. VirtIO支持
3.2.1. SR-IOV支持 x
3.2.1.1. SR-IOV支持的功能特性列表 3.2.1.2. 实现 3.2.1.3. VF到PF映射 3.2.1.4. 功能层复位（FLR）
3.2.1.2. 实现 x
3.2.1.2.1. VF错误标志接口（仅适用于x16/x8内核）
3.2.2. VirtIO支持 x
3.2.2.1. VirtIO支持的功能清单 3.2.2.2. 概述 3.2.2.3. 参数 3.2.2.4. VirtIO PCI配置访问接口 3.2.2.5. 寄存器
3.2.2.5. 寄存器 x
3.2.2.5.1. VirtIO Common Configuration Capability寄存器（地址: 0x012） 3.2.2.5.2. VirtIO Common Configuration Capability寄存器（地址: 0x013） 3.2.2.5.3. VirtIO Common Configuration BAR Offset寄存器（地址: 0x014） 3.2.2.5.4. VirtIO Common Configuration Structure Length寄存器（地址0x015） 3.2.2.5.5. VirtIO Notifications Capability寄存器（地址：0x016） 3.2.2.5.6. VirtIO Notifications BAR Indicator寄存器（地址：0x017） 3.2.2.5.7. VirtIO Notifications BAR Offset寄存器（地址：0x018） 3.2.2.5.8. VirtIO Notifications Structure长度寄存器（地址：0x019） 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier寄存器 (Address: 0x01A) 3.2.2.5.10. VirtIO ISR Status Capability寄存器（地址：0x02F） 3.2.2.5.11. VirtIO ISR Status BAR Indicator寄存器（地址：0x030） 3.2.2.5.12. VirtIO ISR Status BAR Offset寄存器（地址：0x031） 3.2.2.5.13. VirtIO ISR Status Structure长度寄存器（地址：0x032） 3.2.2.5.14. VirtIO Device Specific Capability寄存器（地址：0x033） 3.2.2.5.15. VirtIO Device Specific BAR Indicator寄存器（地址：0x034） 3.2.2.5.16. VirtIO Device Specific BAR Offset寄存器（地址：0x035） 3.2.2.5.17. VirtIO Device Specific Structure长度寄存器（地址：0x036） 3.2.2.5.18. VirtIO PCI Configuration Access Capability寄存器（地址：0x037） 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator寄存器（地址：0x038） 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset寄存器（地址：0x039） 3.2.2.5.21. VirtIO PCI Configuration Access Structure长度寄存器（地址：0x03A） 3.2.2.5.22. VirtIO PCI Configuration Access Data寄存器（地址：0x03B）
3.3. TLP旁路模式 x
3.3.1. 概述 3.3.2. TLP Bypass模式的寄存器设置 3.3.3. 硬IP重配置接口 3.3.4. Avalon® Streaming接口
3.3.2. TLP Bypass模式的寄存器设置 x
3.3.2.1. TLPBYPASS_ERR_EN（地址 0x1314） 3.3.2.2. TLPBYPASS_ERR_STATUS (地址：0x1310)
3.3.4. Avalon® Streaming接口 x
3.3.4.1. 配置TLP 3.3.4.2. 发送接口 3.3.4.3. 接收接口 3.3.4.4. 异常TLP 3.3.4.5. ECRC
4. 接口 x
4.1. 时钟和复位 4.2. 串行数据接口 4.3. PCI Express模式 4.4. PIPE Direct Mode
4.1. 时钟和复位 x
4.1.1. 时钟 4.1.2. 复位
4.3. PCI Express模式 x
4.3.1. Avalon® Streaming接口 4.3.2. 精确时间测量（PTM）接口（仅Endpoint） 4.3.3. 中断接口 4.3.4. 硬IP重配置接口 4.3.5. 错误（Error）接口 4.3.6. Completion Timeout接口 4.3.7. 配置拦截接口 4.3.8. 电源管理接口（Power Management Interface） 4.3.9. Hard IP状态接口 4.3.10. Page Request Services (PRS)接口（仅Endpoint） 4.3.11. Function-Level Reset (FLR)接口（仅Endpoint） 4.3.12. SR-IOV VF Error Flag接口（仅Endpoint） 4.3.13. 通用VSEC接口
4.3.1. Avalon® Streaming接口 x
4.3.1.1. Avalon® 流RX和TX接口的TLP头和数据对齐 4.3.1.2. Credit控制 4.3.1.3. Avalon® Streaming RX接口 4.3.1.4. Avalon® Streaming TX接口 4.3.1.5. 标志分配
4.3.1.2. Credit控制 x
4.3.1.2.1. Credit接口 - 数据和头 4.3.1.2.2. Credit初始化 4.3.1.2.3. Credit更新/释放 4.3.1.2.4. RX流程控制接口 4.3.1.2.5. TX流量控制接口
4.3.1.3. Avalon® Streaming RX接口 x
4.3.1.3.1. Avalon Streaming RX接口的应用逻辑指南
4.3.1.4. Avalon® Streaming TX接口 x
4.3.1.4.1. Avalon Streaming TX接口的应用逻辑指南 4.3.1.4.2. Avalon® Streaming TX接口pX_tx_st_ready_o行为
4.3.1.5. 标志分配 x
4.3.1.5.1. Completion缓冲区大小
4.3.3. 中断接口 x
4.3.3.1. 传统中断 4.3.3.2. MSI 4.3.3.3. MSI-X
4.3.3.3. MSI-X x
4.3.3.3.1. 实现MSI-X中断
4.3.8. 电源管理接口（Power Management Interface） x
4.3.8.1. D3Hot Entry（进入） 4.3.8.2. D3Hot Exit（退出） 4.3.8.3. D3Cold Entry（进入） 4.3.8.4. D3Cold Exit（退出）
4.3.8.2. D3Hot Exit（退出） x
4.3.8.2.1. Host发起的D3Hot Exit 4.3.8.2.2. EP发起的D3Hot Exit
4.4. PIPE Direct Mode x
4.4.1. 数据信号 4.4.2. 命令和状态信号 4.4.3. 消息总线信号 4.4.4. 偏移校正信号 4.4.5. PIPE Direct复位序列 4.4.6. PIPE Direct速率变化 4.4.7. PIPE Lane复位交错（Staggering） 4.4.8. PIPE Direct Mode中未使用的Lane
4.4.1. 数据信号 x
4.4.1.1. 发送信号 4.4.1.2. 接收信号
4.4.4. 偏移校正信号 x
4.4.4.1. MAC to PHY (M2P)信号 4.4.4.2. PHY to MAC (P2M)信号
5. 参数 x
5.1. 顶层设置 5.2. 内核参数
5.2. 内核参数 x
5.2.1. Avalon参数 5.2.2. 基地址寄存器 5.2.3. PCI Express和PCI Capabilities参数
5.2.3. PCI Express和PCI Capabilities参数 x
5.2.3.1. 器件Capabilities 5.2.3.2. VirtIO参数 5.2.3.3. 链路Capabilities 5.2.3.4. Legacy中断管脚寄存器 5.2.3.5. MSI Capabilities 5.2.3.6. MSI-X Capabilities 5.2.3.7. 插槽Capabilities 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. 器件序列号Capability 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. 电源管理 5.2.3.14. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)寄存器 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) Capabilities 5.2.3.17. Precision Time Measurement (PTM)
6. 故障排查/调试 x
6.1. 硬件调试 6.2. 操作系统工具和实用工具 6.3. Signal Tap逻辑分析仪 6.4. 使用Hard IP Reconfiguration接口进行调试 6.5. 可用于调试活动的其他接口 6.6. 调试工具包
6.1. 硬件调试 x
6.1.1. 调试链路训练问题 6.1.2. 调试器件枚举问题 6.1.3. 调试数据传输和性能问题
6.1.3. 调试数据传输和性能问题 x
6.1.3.1. 高级错误报告（AER）
6.2. 操作系统工具和实用工具 x
6.2.1. 使用lspci实用工具读取协商链路速度
6.4. 使用Hard IP Reconfiguration接口进行调试 x
6.4.1. 使用Hard IP Reconfiguration接口使能并读取ECRC和LCRC错误计数
6.6. 调试工具包 x
6.6.1. 概述 6.6.2. 使能R-Tile Debug Toolkit 6.6.3. 启动R-Tile Debug Toolkit 6.6.4. 使用R-Tile Debug Toolkit
6.6.4. 使用R-Tile Debug Toolkit x
6.6.4.1. R-Tile信息 6.6.4.2. 事件计数器 6.6.4.3. Link Inspector 6.6.4.4. 配置空间 6.6.4.5. 通道参数
6.6.4.5. 通道参数 x
6.6.4.5.1. General PHY（通用PHY） 6.6.4.5.2. Tx数据路径 6.6.4.5.3. Rx数据路径 6.6.4.5.4. 通道裕量
C. Endpoint模式下Address Translation Services（ATS）的实现 x
C.1. 发送Translated/Untranslated请求 C.2. 从Endpoint (EP)向Root Complex (RC)发送Page Request Message C.3. 验证Requests/Completions无效
D. TLP Bypass模式下转发到用户应用的数据包 x
D.1. EP TLP Bypass模式（上游） D.2. RC TLP Bypass模式（下游）
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量 x
E.1. 边距裕量掩膜概述 E.2. 5x5测试效率 E.3. Debug Toolkit工具包裕量方法论
E.2. 5x5测试效率 x
E.2.1. 首次测试 E.2.2. 抽查测试
E.3. Debug Toolkit工具包裕量方法论 x
E.3.1. Debug Toolkit工具包测试流程
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP
2. IP架构和功能描述
3. 高级特性
4. 接口
5. 参数
6. 故障排查/调试
7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档
8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史
A. 配置空间寄存器
B. 根端口枚举
C. Endpoint模式下Address Translation Services（ATS）的实现
D. TLP Bypass模式下转发到用户应用的数据包
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量

4.3.1.2.4. RX流程控制接口

RX流量控制接口为PCIe Hard IP提供关于应用程序上可用于Posted (P)，Non-Posted (NP)和Completion (CPL)事务的RX缓冲空间的信息。它以PCIe Specification指定的credit数量报告可用的空间大小。

应用程序逻辑必须确保在Credit Initialization阶段为R-Tile Avalon-ST IP for PCIe提供足够的信用。这样就可以防止由于IP和应用程序逻辑之间缺乏可用信用而导致的性能影响。根据在PCIe链路级别发生的 P、NP和CPL事务的数量，如果应用程序逻辑通告的信用数量小于 R-Tile Avalon-ST IP for PCIe向链路对端通告的信用数量，则可能会发生缺乏信用的情况。

流量控制credit可用于以下TLP类别：
  • Posted (P)事务：不需要响应的TLP。
  • Non-poseted (NP)事务：需要completion的TLP。
  • Completions (CPL): 响应non-posted 事务的TLP。
表 51.  R-Tile Avalon-ST IP for PCIe向链路对端通告的信用注释：此表格中的信用单位遵循PCIe规范，其中1个credit = 4个DW = 16个字节。
端口(Port) Hard IP模式 Posted Headers Posted Data Non-Posted Headers Non-Posted Data Completion Headers Completion Data
Port 0 Endpoint 784 1456 784 392 0 (无穷) 0 (无穷)
Root Port 784 1456 784 392 0 (无穷) 0 (无穷)
Upstream Port 784 1456 784 392 1024 2816
Downstream Port 784 1456 784 392 1024 2816
Port 1 Endpoint 392 760 392 196 0 (无穷) 0 (无穷)
Root Port 392 760 392 196 0 (无穷) 0 (无穷)
Upstream Port 392 760 392 196 512 1408
Downstream Port 392 760 392 196 512 1408
Port 2 Endpoint 224 444 224 112 0 (无穷) 0 (无穷)
Root Port 224 444 224 112 0 (无穷) 0 (无穷)
Upstream Port 224 444 224 112 256 704
Downstream Port 224 444 224 112 256 704
Port 3 Endpoint 224 444 224 112 0 (无穷) 0 (无穷)
Root Port 224 444 224 112 0 (无穷) 0 (无穷)
Upstream Port 224 444 224 112 256 704
Downstream Port 224 444 224 112 256 704

有关常规情况下如何在该IP中实现credit控制的更多信息，请参阅Credit控制。

注： 某些系统中，链路对端会在PCIe枚举过程中广播Message TLP。如果未能正确初始化，并将相应credit从Application逻辑返回到R-Tile Avalon® Streaming IP，就会因为Message TLP和Configuration TLP之间所需要Completion的优先顺序而导致枚举问题。Application逻辑必须确保将正确的credit返回到其接收TLP的R-Tile Avalon® Streaming IP。
表 52.  事务类型分类
TLP类型 类别
Memory Write Posted
Memory Read Non-Posted
Memory Read Lock
I/O Read
I/O Write
Configuration Read
Configuration Write
Fetch and Add AtomicOp
Message Posted
Completion Completion
Completion with Data
Completion Lock
Completion Lock with Data
表 53.  RX流量控制接口信号
信号名称 方向 描述 EP/RP/BP 时钟域
pX_rx_st_hcrdt_update_i[2:0]其中

X = 0, 1, 2, 3（IP核个数）

 输入

指示credit可用于不同类型的Header。

每个Header（包括TLP Prefix，如有）消耗一个credit。

[0] : Posted Header (PH)

[1] : Non-Posted Header (NPH)

[2] : Completion Header (CPLH)

要通告IP和应用程序逻辑之间特定TLP类型的无限信用，必须将该信号总线内相应位置位一个时钟周期，并且在信用初始化阶段，pX_rx_st_hcrdt_update_cnt_i信号总线中目标TLP类型在相应位上的值为0。

EP/RP/BP coreclkout_hip
pX_rx_st_hcrdt_update_cnt_i[5:0]其中

X = 0, 1, 2, 3 （IP核个数）

 输入

指示已释放的信用数量。

[1:0]：已释放的PH信用数量

[3:2]：已释放的NPH信用数量

[5:4]：已释放的CPLH信用数量

对应的pX_rx_st_hcrdt_update_i位 = 1时，有效。

释放的信用数量最多为3。

要通告IP和应用程序逻辑之间特定TLP类型的无限信用，就必须在信用初始化阶段，当pX_rx_st_hcrdt_update_i位被置位一个时钟周期时，必须将该信号内总线上相应的位设置为0。

EP/RP/BP coreclkout_hip
pX_rx_st_hcrdt_init_i[2:0]其中

X = 0, 1, 2, 3 （IP核个数）

 输入

Credit初始化指示。这些信号在整个初始化阶段保持高电平。从High 到Low的转变表示credit初始化阶段的完成。

[0] : PH

[1] : NPH

[2] : CPLH

 EP/RP/BP coreclkout_hip
pX_rx_st_hcrdt_init_ack_o[2:0]其中

X = 0, 1, 2, 3 （IP核个数）

 输入

指示主机已经为credit初始化阶段作好准备

[0] : PH

[1] : NPH

[2] : CPLH

 EP/RP/BP coreclkout_hip
pX_rx_st_dcrdt_update_i[2:0]，其中

X = 0, 1, 2, 3（IP核个数）

 输入

指示credit可用于不同类型的Data。

[0] : Posted Data (PD)

[1] : Non-Posted Data (NPD)

[2] : Completion Data (CPLD)

要通告IP和应用程序逻辑之间特定TLP类型的无限信用，必须将该信号总线内的相应位置位一个时钟周期，并且在信用初始化阶段，pX_rx_st_dcrdt_update_cnt_i信号总线中目标TLP类型在相应位上的值为0。

EP/RP/BP coreclkout_hip
pX_rx_st_dcrdt_update_cnt_i[11:0]其中

X = 0, 1, 2, 3（IP核个数）

 输入

指示释放的信用数量。

[3:0]：释放的PD信用数量

[7:4]：释放的NPD信用数量

[11:8]：释放的CPLD信用数量

对应的pX_rx_st_dcrdt_update_i位 = 1时，有效。

释放的信用数量最多为15。

要通告IP和应用程序逻辑之间特定TLP类型的无限信用，就必须在信用初始化阶段，当pX_rx_st_dcrdt_update_i位被置位一个时钟周期时，必须将该信号内总线上相应的位设置为0。

注： 初始RX NPD信用必须等于或大于Maximum Payload Size（最大有效负载大小）。
EP/RP/BP coreclkout_hip
pX_rx_st_dcrdt_init_i[2:0]其中

X = 0, 1, 2, 3（IP核个数）

 输入

Credit初始化指示。这些信号在整个初始化阶段保持高电平。从High 到Low的转变表示credit初始化阶段的完成。

[0] : PD

[1] : NPD

[2] : CPLD

 EP/RP/BP coreclkout_hip
pX_rx_st_dcrdt_init_ack_o[2:0]其中

X = 0, 1, 2, 3（IP核个数

 输入

指示Host主机已经为credit初始化阶段作好准备

[0] : PD

[1] : NPD

[2] : CPLD

 EP/RP/BP coreclkout_hip
二级标题