用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南

下载 PDF
ID 683501
日期 6/26/2023
Public
文档目录
文档目录 x
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP 2. IP架构和功能描述 3. 高级特性 4. 接口 5. 参数 6. 故障排查/调试 7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档 8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史 A. 配置空间寄存器 B. 根端口枚举 C. Endpoint模式下Address Translation Services（ATS）的实现 D. TLP Bypass模式下转发到用户应用的数据包 E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP x
1.1. 概述 1.2. 功能特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 性能和资源利用率 1.6. IP核支持级别
1.1. 概述 x
1.1.1. 标准和规范合规
1.2. 功能特性 x
1.2.1. 多功能和虚拟化功能
2. IP架构和功能描述 x
2.1. 概述 2.2. PCIe Hard IP模式 2.3. PIPE Direct Mode
2.2. PCIe Hard IP模式 x
2.2.1. 时钟 2.2.2. 复位 2.2.3. PCI Express协议堆栈
2.2.2. 复位 x
2.2.2.1. 单个PERST 2.2.2.2. 独立的PERST管脚 2.2.2.3. 独立的GPIO PERST
2.2.2.2. 独立的PERST管脚 x
2.2.2.2.1. 使用独立PERST管脚时的REFCLK和PERST指南
2.2.2.3. 独立的GPIO PERST x
2.2.2.3.1. 使用独立GPIO PERST时的REFCLK和PERST指南
2.2.3. PCI Express协议堆栈 x
2.2.3.1. PMA 2.2.3.2. 数据链路层概述 2.2.3.3. 事务层概述
2.2.3.3. 事务层概述 x
2.2.3.3.1. Deferrable Memory Write (DMWr)
2.3. PIPE Direct Mode x
2.3.1. 时钟 2.3.2. 复位 2.3.3. PIPE层
3. 高级特性 x
3.1. PCIe端口分叉和PHY通道映射 3.2. 虚拟化支持 3.3. TLP旁路模式
3.2. 虚拟化支持 x
3.2.1. SR-IOV支持 3.2.2. VirtIO支持
3.2.1. SR-IOV支持 x
3.2.1.1. SR-IOV支持的功能特性列表 3.2.1.2. 实现 3.2.1.3. VF到PF映射 3.2.1.4. 功能层复位（FLR）
3.2.1.2. 实现 x
3.2.1.2.1. VF错误标志接口（仅适用于x16/x8内核）
3.2.2. VirtIO支持 x
3.2.2.1. VirtIO支持的功能清单 3.2.2.2. 概述 3.2.2.3. 参数 3.2.2.4. VirtIO PCI配置访问接口 3.2.2.5. 寄存器
3.2.2.5. 寄存器 x
3.2.2.5.1. VirtIO Common Configuration Capability寄存器（地址: 0x012） 3.2.2.5.2. VirtIO Common Configuration Capability寄存器（地址: 0x013） 3.2.2.5.3. VirtIO Common Configuration BAR Offset寄存器（地址: 0x014） 3.2.2.5.4. VirtIO Common Configuration Structure Length寄存器（地址0x015） 3.2.2.5.5. VirtIO Notifications Capability寄存器（地址：0x016） 3.2.2.5.6. VirtIO Notifications BAR Indicator寄存器（地址：0x017） 3.2.2.5.7. VirtIO Notifications BAR Offset寄存器（地址：0x018） 3.2.2.5.8. VirtIO Notifications Structure长度寄存器（地址：0x019） 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier寄存器 (Address: 0x01A) 3.2.2.5.10. VirtIO ISR Status Capability寄存器（地址：0x02F） 3.2.2.5.11. VirtIO ISR Status BAR Indicator寄存器（地址：0x030） 3.2.2.5.12. VirtIO ISR Status BAR Offset寄存器（地址：0x031） 3.2.2.5.13. VirtIO ISR Status Structure长度寄存器（地址：0x032） 3.2.2.5.14. VirtIO Device Specific Capability寄存器（地址：0x033） 3.2.2.5.15. VirtIO Device Specific BAR Indicator寄存器（地址：0x034） 3.2.2.5.16. VirtIO Device Specific BAR Offset寄存器（地址：0x035） 3.2.2.5.17. VirtIO Device Specific Structure长度寄存器（地址：0x036） 3.2.2.5.18. VirtIO PCI Configuration Access Capability寄存器（地址：0x037） 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator寄存器（地址：0x038） 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset寄存器（地址：0x039） 3.2.2.5.21. VirtIO PCI Configuration Access Structure长度寄存器（地址：0x03A） 3.2.2.5.22. VirtIO PCI Configuration Access Data寄存器（地址：0x03B）
3.3. TLP旁路模式 x
3.3.1. 概述 3.3.2. TLP Bypass模式的寄存器设置 3.3.3. 硬IP重配置接口 3.3.4. Avalon® Streaming接口
3.3.2. TLP Bypass模式的寄存器设置 x
3.3.2.1. TLPBYPASS_ERR_EN（地址 0x1314） 3.3.2.2. TLPBYPASS_ERR_STATUS (地址：0x1310)
3.3.4. Avalon® Streaming接口 x
3.3.4.1. 配置TLP 3.3.4.2. 发送接口 3.3.4.3. 接收接口 3.3.4.4. 异常TLP 3.3.4.5. ECRC
4. 接口 x
4.1. 时钟和复位 4.2. 串行数据接口 4.3. PCI Express模式 4.4. PIPE Direct Mode
4.1. 时钟和复位 x
4.1.1. 时钟 4.1.2. 复位
4.3. PCI Express模式 x
4.3.1. Avalon® Streaming接口 4.3.2. 精确时间测量（PTM）接口（仅Endpoint） 4.3.3. 中断接口 4.3.4. 硬IP重配置接口 4.3.5. 错误（Error）接口 4.3.6. Completion Timeout接口 4.3.7. 配置拦截接口 4.3.8. 电源管理接口（Power Management Interface） 4.3.9. Hard IP状态接口 4.3.10. Page Request Services (PRS)接口（仅Endpoint） 4.3.11. Function-Level Reset (FLR)接口（仅Endpoint） 4.3.12. SR-IOV VF Error Flag接口（仅Endpoint） 4.3.13. 通用VSEC接口
4.3.1. Avalon® Streaming接口 x
4.3.1.1. Avalon® 流RX和TX接口的TLP头和数据对齐 4.3.1.2. Credit控制 4.3.1.3. Avalon® Streaming RX接口 4.3.1.4. Avalon® Streaming TX接口 4.3.1.5. 标志分配
4.3.1.2. Credit控制 x
4.3.1.2.1. Credit接口 - 数据和头 4.3.1.2.2. Credit初始化 4.3.1.2.3. Credit更新/释放 4.3.1.2.4. RX流程控制接口 4.3.1.2.5. TX流量控制接口
4.3.1.3. Avalon® Streaming RX接口 x
4.3.1.3.1. Avalon Streaming RX接口的应用逻辑指南
4.3.1.4. Avalon® Streaming TX接口 x
4.3.1.4.1. Avalon Streaming TX接口的应用逻辑指南 4.3.1.4.2. Avalon® Streaming TX接口pX_tx_st_ready_o行为
4.3.1.5. 标志分配 x
4.3.1.5.1. Completion缓冲区大小
4.3.3. 中断接口 x
4.3.3.1. 传统中断 4.3.3.2. MSI 4.3.3.3. MSI-X
4.3.3.3. MSI-X x
4.3.3.3.1. 实现MSI-X中断
4.3.8. 电源管理接口（Power Management Interface） x
4.3.8.1. D3Hot Entry（进入） 4.3.8.2. D3Hot Exit（退出） 4.3.8.3. D3Cold Entry（进入） 4.3.8.4. D3Cold Exit（退出）
4.3.8.2. D3Hot Exit（退出） x
4.3.8.2.1. Host发起的D3Hot Exit 4.3.8.2.2. EP发起的D3Hot Exit
4.4. PIPE Direct Mode x
4.4.1. 数据信号 4.4.2. 命令和状态信号 4.4.3. 消息总线信号 4.4.4. 偏移校正信号 4.4.5. PIPE Direct复位序列 4.4.6. PIPE Direct速率变化 4.4.7. PIPE Lane复位交错（Staggering） 4.4.8. PIPE Direct Mode中未使用的Lane
4.4.1. 数据信号 x
4.4.1.1. 发送信号 4.4.1.2. 接收信号
4.4.4. 偏移校正信号 x
4.4.4.1. MAC to PHY (M2P)信号 4.4.4.2. PHY to MAC (P2M)信号
5. 参数 x
5.1. 顶层设置 5.2. 内核参数
5.2. 内核参数 x
5.2.1. Avalon参数 5.2.2. 基地址寄存器 5.2.3. PCI Express和PCI Capabilities参数
5.2.3. PCI Express和PCI Capabilities参数 x
5.2.3.1. 器件Capabilities 5.2.3.2. VirtIO参数 5.2.3.3. 链路Capabilities 5.2.3.4. Legacy中断管脚寄存器 5.2.3.5. MSI Capabilities 5.2.3.6. MSI-X Capabilities 5.2.3.7. 插槽Capabilities 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. 器件序列号Capability 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. 电源管理 5.2.3.14. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)寄存器 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) Capabilities 5.2.3.17. Precision Time Measurement (PTM)
6. 故障排查/调试 x
6.1. 硬件调试 6.2. 操作系统工具和实用工具 6.3. Signal Tap逻辑分析仪 6.4. 使用Hard IP Reconfiguration接口进行调试 6.5. 可用于调试活动的其他接口 6.6. 调试工具包
6.1. 硬件调试 x
6.1.1. 调试链路训练问题 6.1.2. 调试器件枚举问题 6.1.3. 调试数据传输和性能问题
6.1.3. 调试数据传输和性能问题 x
6.1.3.1. 高级错误报告（AER）
6.2. 操作系统工具和实用工具 x
6.2.1. 使用lspci实用工具读取协商链路速度
6.4. 使用Hard IP Reconfiguration接口进行调试 x
6.4.1. 使用Hard IP Reconfiguration接口使能并读取ECRC和LCRC错误计数
6.6. 调试工具包 x
6.6.1. 概述 6.6.2. 使能R-Tile Debug Toolkit 6.6.3. 启动R-Tile Debug Toolkit 6.6.4. 使用R-Tile Debug Toolkit
6.6.4. 使用R-Tile Debug Toolkit x
6.6.4.1. R-Tile信息 6.6.4.2. 事件计数器 6.6.4.3. Link Inspector 6.6.4.4. 配置空间 6.6.4.5. 通道参数
6.6.4.5. 通道参数 x
6.6.4.5.1. General PHY（通用PHY） 6.6.4.5.2. Tx数据路径 6.6.4.5.3. Rx数据路径 6.6.4.5.4. 通道裕量
C. Endpoint模式下Address Translation Services（ATS）的实现 x
C.1. 发送Translated/Untranslated请求 C.2. 从Endpoint (EP)向Root Complex (RC)发送Page Request Message C.3. 验证Requests/Completions无效
D. TLP Bypass模式下转发到用户应用的数据包 x
D.1. EP TLP Bypass模式（上游） D.2. RC TLP Bypass模式（下游）
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量 x
E.1. 边距裕量掩膜概述 E.2. 5x5测试效率 E.3. Debug Toolkit工具包裕量方法论
E.2. 5x5测试效率 x
E.2.1. 首次测试 E.2.2. 抽查测试
E.3. Debug Toolkit工具包裕量方法论 x
E.3.1. Debug Toolkit工具包测试流程
1. 有关用于PCI Express的 英特尔® FPGA R-tile Avalon® Streaming IP
2. IP架构和功能描述
3. 高级特性
4. 接口
5. 参数
6. 故障排查/调试
7. 用于 PCI Express* 的 英特尔® FPGA R-tile Avalon® Streaming IP用户指南存档
8. 用于PCI Express的英特尔FPGA R-tile Avalon® Streaming IP用户指南文档修订历史
A. 配置空间寄存器
B. 根端口枚举
C. Endpoint模式下Address Translation Services（ATS）的实现
D. TLP Bypass模式下转发到用户应用的数据包
E. R-Tile Avalon Streaming Intel FPGAIP for PCI Express支持的掩膜裕量

2.2.1. 时钟

在PCIe Hard IP模式下，用于 PCI Express* R-Tile Avalon Streaming Intel FPGA IP有四个主要时钟域：
  • PHY时钟域（即，core_clk域）：该时钟与SerDes并行时钟同步。
  • EMIB/FPGA架构接口时钟域（即，pld_clk域）：该时钟是根据使用的OPN和参数Enable Independent perst pins获得。如果该参数设置为禁用，则该时钟从refclk0获得。另一方面，如果Enable Independent perst pins设置为启用，该时钟从 refclk2获得。请参阅 Intel Agilex® 7 Device Family Pin Connection Guidelines了解针对您特定OPN的可用refclk管脚实现的更多详细信息。
  • 应用程序时钟域 (coreclkout_hip)用于频带内信号：该时钟是从R-Tile IP的输出，其频率与pld_clk相同。
  • 应用程序时钟域 (slow_clk)用于边带信号：该时钟是从R-Tile IP的另一个输出。它是coreclkout_hip的divide-by-2/4的版本。
图 2. PCIe模式中的时钟域
表 10.  PHY时钟和应用程序时钟频率
模式 PHY时钟频率 应用程序时钟频率
PCIe Gen1 1000 MHz Gen1仅支持通过链路下行训练，而非本地支持。因此，应用程序时钟频率取决于您在IP Parameter Editor中选择的配置。例如，如果您选择Gen3配置，则应用程序时钟频率为250 MHz - 300 MHz。
PCIe Gen2 1000 MHz Gen2仅支持通过链路下行训练，而非本地支持。因此，应用程序时钟频率取决于您在IP Parameter Editor中选择的配置。例如，如果您选择Gen3配置，则应用程序时钟频率为250 MHz - 300 MHz。
PCIe Gen3 1000 MHz 250 MHz - 500 MHz (*)
PCIe Gen4 1000 MHz 250 MHz - 500 MHz (*)
PCIe Gen5 1000 MHz 400 MHz - 500 MHz
注：
(*) Application Clock Frequency在Gen3和Gen4的最高频率仅适用于OPN：
  • AGIx027R29AxxxxR2
  • AGIx027R29AxxxxR3
  • AGIx027R29BxxxxR3
  • AGIx023R18AxxxxR0
  • AGIx041R29DxxxxR0
  • AGIx041R29DxxxxR1
请参阅 英特尔Agilex® 7 FPGA和SoC器件概述中的可用选项部分了解更多详细信息。
注： 对于链路下行训练的情况，当在Gen3、Gen4或Gen5配置R-Tile，链路会被下行训练到一个较低速度，应用程序时钟频率将继续以PLD Clock Frequency参数中设置的配置频率运行。例如，当PCIe Hard IP Mode参数设置为Gen5 1x16，而PLD Clock Frequency参数为500 MHz，即使链路已经下行训练到Gen4或更低，PLD时钟频率将仍然以500 MHz运行。

R-Tile可能最多有三个封装级参考时钟输入，refclk0，refclk1和refclk2，取决于使用的OPN。请参阅 Intel Agilex® 7 Device Family Pin Connection Guidelines了解针对您特定OPN 的可用refclk管脚实现的更多详细信息。

这些输入时钟的连接要求取决于使用的配置模式和Enable Independent perst pins参数。您必须考虑以下指导内容：
  • 将100 MHz参考时钟源连接到refclk0和refclk1。
  • 如果使用Configuration Mode 0 (1x16)或Configuration Mode 2 (4x4)，则使用单个时钟源驱动refclk0和refclk1。
图 3. 1x16和4x4模式中使用单个100 MHz时钟源

在Configuration Mode 1 (2x8)下，您可以通过如上所示的单个100 MHz时钟源，或者两个独立的MHz源（请参阅Using Independent 100 MHz Clock Sources in 2x8 Mode）驱动refclk0和refclk1输入，具体取决于您的系统架构。例如，如果您的系统将每个x8端口连接到单独的CPU/Root Complex，则可能需要驱动这些使用独立时钟源的refclk输入。该情况下，如果参数Enable Independent perst pins设置为禁用时，Port 0的refclk0输入必须始终运行，因为它为 R-Tile内核PLL馈给参考时钟，该R-Tile内核PLL通过EMIB控制 R-Tile和FPGA架构之间的数据传输。如果该时钟关闭，则Port 0链路将关闭，并且Port 1将无法与FPGA架构通信。

另一方面，如果将参数Enable Independent perst pins设置为启用，则refclk2输入必须始终运行，因为它馈给R-Tile内核PLL，而R-Tile内核PLL通过EMIB控制R-Tile和FPGA架构之间的数据传输。

如下是在Configuration Mode 1 (2x8)中参数Enable Independent perst pins设置为禁用时实现两个独立refclk的指南：
  • 如果链路可以处理两个独立的参考时钟，则驱动具有板载自由运行振荡器的R-Tile的refclk0。
  • 如果链路需要使用公共参考时钟，则PERST#需要指示该参考时钟的稳定性。如果该参考时钟停止，则必须复位整个R-Tile。
如下是在Configuration Mode 1 (2x8)中参数Enable Independent perst pins设置为使能时实现两个独立refclk的指南：
  • 驱动具有板载自由运行振荡器的R-Tile的其他refclk2。
  • 管脚pin_perst_n指示该参考时钟的稳定性。如果该参考时钟停止，则必须复位整个R-Tile。
图 4. 2x8模式中使用独立的100 MHz时钟源
二级标题