PCI^[1] 总线，其被开发出来的时间为 1990 年代初，当时人们期望用它来解决计算机的外设总线的一些缺点。而那个年代的这个领域的技术标准是 IBM 的 AT^[2] 总线，它也被其他供应商称为 ISA^[3] 总线。ISA 总线是为 286 16位计算机而设计的，它在 286 上也发挥了足够的性能，但随着新型的 32 位计算机及其外设们出现，新的需求也出现了：更高的带宽、更多更好的功能（例如即插即用）。

除此之外，ISA 总线使用的连接器是具有较多针脚数的大型连接器，使用起来相当麻烦。于是，几种用于替代 ISA 总线的设计也被提出，例如 IBM 的 MCA^[4] 总线，EISA^[5] 总线，以及 VESA^[6] 总线。然而，所有的这些设计都具有一些缺点。最终，一个由 PC 市场的主要公司们共同联合建立的组织 PCISIG^[7] 开发出了 PCI 总线，并将其作为一种开放总线。在当时，PCI 这种新型总线体系结构在性能上大大的优于 ISA，而且它在每个设备内部新定义了一组寄存器，称之为配置空间^[8]。这些寄存器使得软件可以查看一个 PCI 设备内部所需的存储和 IO 资源，同时让软件为一个系统下的各个设备分配互不冲突的地址。这些特性：开放式设计、高速、软件可见性与可控性^[9]，帮助 PCI 克服了限制 ISA 与其他总线的发展障碍，让 PCI 迅速地成为了 PC 中的标准外设总线。[Chinese_Translation_of_PCI_Express_Technology]

PCIe 就像是一辆豪华跑车，它能够以惊人的速度传输数据，让设备之间的通信变得更加高效。这个标准迅速引起了全球计算机界的关注。随着 PCIe 标准的推广，越来越多的计算机厂商开始采用这项技术。它们纷纷推出了支持 PCIe 的主板和设备，带来了巨大的改变。

以前，设备之间的通信速度非常慢，导致计算机性能的瓶颈。而现在，人们可以轻松地插入 PCIe 设备，享受到高速的数据传输和稳定的性能。而且，PCIe 的发展还不止于此，每一代的 PCIe 标准都会带来更高的传输速度和更强的性能。

PCIe 3.0 x16 的吞吐速度可以达到 15.754GB/s，相当于你可以在一秒钟内传输完 1 部蓝光电影！这简直就像是给计算机加了一颗火箭发动机！然而，科技的进步从来都不会停止。为了满足越来越高的数据传输需求，PCIe 4.0 x16 横空出世！这项技术的速度比前一代快上一倍，每秒可以吞吐 31.508GB 的数据！

PCIe 接口采用了一种称为“点对点”连接的方式，这意味着每个设备都有自己独立的通信通道。这种设计可以避免多个设备之间的冲突，确保数据传输的高效性和稳定性。

此外，PCIe 还使用了一种称为“lane”的概念。每个 PCIe 接口都包含多个 lane ，每个 lane 相当于一个独立的数据通道。这就好像是一条高速公路被分成了多个车道，每个车道都可以独立地传输数据，提高了数据传输的效率。

PCI 使用了“反射波信号传输”技术，利用这个技术可以降低总线上的功率损耗。设备通过实现弱传输缓冲^[10]，仅需一半的驱动电压即可完成信号电平的翻转。按照设计，信号的入射波沿着传输线传输下去，直到到达传输线的末端。由于传输线的末端没有终端电阻^[11]吸收回波，所以信号传输并没有就此中止，波阵面^[12]在遇到传输线末端的无穷大阻抗后会被反射回来。这种反射自然是具有叠加性的，当信号返回发射方时，它会与入射信号叠加使信号增加到全电压电平。当这样的反射信号到达初始的缓冲时，缓冲驱动器的低输出阻抗会中止这个信号的传输以及停止其继续反射。因此，从缓冲发出一个信号一直到接收方检测到有效的信号所花费的时间，就等于信号沿线路传输的时间加上反射回来的延迟时间和建立时间。所有这些都必须小于一个时钟周期。这一设计就和 I²C、CAN 协议不同，这两个协议都会要求使用终端电阻来消除反射信号。

也正是因为这项技术，所以尽管 PCI 支持每路总线上最多挂载 32 个设备，但是实际的电气上限要小得多，在 33MHz 的基频下大约只可以支持 10 到 12 个负载。[PCI_Express_Technology_3.0]

发送端和接收端是通过一个交流耦合链路相连接。所谓“交流耦合”，意思是两个设备相连接的物理路径上放置有电容，它可以让信号的高频（交流）信号通过，而阻塞低频（直流）信号。许多串行传输方式中都使用了这种方法，因为它允许发送端和接收端的共模电压不同，这意味着发送端和接收端可以使用不同的参考电压。这也是在 PCB 设计 PCIe 发送端时必须放置耦合电容的原因之一。

PCIe 链路不使用公共时钟，而使用了一个源同步模型，这意味着需要由发送端给接收端提供一个时钟来用于对输入数据进行锁存采样。对于 PCIe 链路来说，并不包括输出时钟信号。相反地，发送端会将时钟通过编码方案（8b/10b 编码）来嵌入数据流中，然后接收端将会从数据流中恢复出这个时钟，并用于对输入数据进行锁存。这一过程听起来可能非常神秘，但是其实很简单。在接收端中，PLL^[13] 电路将输入的比特流作为参考时钟，并将其时序或者相位与一个输出时钟相比较，这个输出时钟是 PLL 按照指定频率产生的时钟。也就是说 PLL 自身会产生一个指定频率的输出时钟，然后用比特流作为的参考时钟与自身产生的输出时钟相比较。基于比较的结果，PLL 将会升高或者降低输出时钟的频率，直到所比较的双方达到匹配。此时则可以称 PLL 已锁定，且输出时钟（恢复时钟）的频率已经精确地与发送数据的时钟相匹配。PLL 将会不断地调整恢复时钟，快速补偿修正由温度、电压因素对发送端时钟频率造成的影响。

关于时钟恢复，有一件需要注意的事情，PLL 需要输入端的信号跳变来完成相位比较。如果很长一段时间数据都没有任何跳变，那么 PLL 的恢复时钟可能会偏离正确的时钟频率。为了避免这种问题，PCIe 在编码方案中使用了 LFSR 算法，可以用于生成一组称为控制字符的特殊数据符号，这些控制字符可以被用于帧同步、错误检测等。通过使用LFSR算法生成这些控制字符，可以保证它们具有一定的统计特性和良好的检测能力，以确保 PLL 可以在一段时间内保持锁定状态。[pci-express-6.0-specification]

1. INTx^[14]是一种传统的中断请求方式，它使用系统总线发送中断信号给处理器。这种方式在早期的计算机系统中广泛使用，但它存在一些限制，如中断共享时可能引起冲突、中断处理延迟较高等问题。

2. MSI^[15]是一种改进的中断请求方式，它通过直接发送消息给处理器的方式来请求中断。这种方式可以提高中断的可伸缩性和性能，并且可以解决 INTx 中的一些问题。

3. MSI-X^[16]是对 MSI 的扩展，它可以支持更多的中断向量。MSIx可以提供更高的性能和可伸缩性，特别适用于多处理器系统和虚拟化环境。

总结来说，INTx 是传统的中断请求方式，MSI 是一种改进的中断请求方式，而 MSI-X 是对 MSI 的扩展，提供更多中断向量的支持。

不管 PCIe 设备拥有多少个功能，其每一个功能号都有一个唯一的标识符与之对应。这个标识符就是 BDF^[22]，PCIe的配置软件（即Root的应用层，一般是PC）应当有能力识别整个PCIe总线系统的拓扑逻辑，以及其中的每一条总线^[23]，每一个设备^[24]和每一项功能^[25]。

在 BDF 中，总线号占用 8 位，设备号占用 5 位，函数号占用 3 位。显然，PCIe 总线最多支持 256 个子总线，每个子总线最多支持 32 个设备，每个设备最多支持 8 个功能。

在 PCIe 设备之间，信息是以包的形式进行传输的，包主要分为三类：TLP^[27]、DLLP^[28]和 Ordered Set^[29]。

发送方发起请求的完整过程如下：

1. 发送方发起一个请求，事务层将会组建 TLP Header，并在其后附上数据荷载（如果有），以及可选附加 ECRC^[30]。随后 TLP 就会被放入一个虚拟通道 缓冲。这个虚拟通道缓冲会根据事务排序规则来管理 TLP 的顺序，并在向下转发 TLP 到数据链路层之前，确认接收方有足够的缓冲来接收这一个 TLP。

2. 当 TLP 到达数据链路层，它会被分配一个序列号^[31]，并基于 TLP 的内容和序列号来计算出一个 LCRC^[32] 来附加在原 TLP 后。然后会将经过这些处理过程之后的 TLP 保存一个副本，这个副本会保存在数据链路层的重传缓冲^[33]中，这是为了应对传输出错的情况。与此同时，这个 TLP 也会被向下转发至物理层。

3. 物理层将会进行一系列的操作来准备对这个数据包进行串行传输，包括字节条带化^[34]、扰码^[35]、编码^[36]以及并串转换^[37]。对于 Gen1 和 Gen2 的设备，当进行 8b/10b 编码时，会将 STP 和 END 这两个控制字符分别加在 TLP 的首端和尾端。最后，这个数据包通过链路进行传输。在 Gen3 操作模式中，STP token 会被添加在 TLP 的首端，但是并不会在尾端加上 END，而是在 STP Token 中包含 TLP 大小的信息来判断 TLP 的尾部位置。

基于队列的直接内存访问（QDMA）子系统是基于 PCI Express®（PCIe®） 的 DMA 引擎，旨在优化高带宽和高数据包传输。QDMA 由 UltraScale+™ 集成块和广泛的 DMA 和桥接基础设施组成，可提供卓越的性能和灵活性。

QDMA 子系统为 PCIe 提供了广泛的设置和使用选项，可以在每个队列上进行选择，例如内存映射的 DMA 或流式 DMA、中断模式和轮询。该子系统提供了许多选项，可通过用户逻辑自定义描述符和 DMA，以提供复杂的流量管理能力。

使用 QDMA 传输数据的主要机制是 QDMA 引擎处理主机操作系统提供的指令（描述符^[42]）。使用描述符，QDMA 可以在“主机到卡（H2C）方向”或“卡到主机（C2H）方向”上移动数据。可以根据每个队列选择 DMA 流量是发送到 AXI4 内存映射（MM）接口还是 AXI4-Stream 接口。此外，QDMA 还具有实现 AXI4 MM 主端口和 AXI4 MM 从端口的选项，允许 PCIe 流量完全绕过 DMA 引擎。

QDMA 与其他 DMA 方案的主要区别在于队列的概念。队列的概念来源于高性能计算（HPC）互连中的“队列集”概念。这些队列可以通过接口类型进行个别配置，并以多种不同模式运行。根据为单个队列加载DMA描述符的方式，每个队列提供了一种非常低的开销选项，用于设置和连续更新功能。通过将队列分配为多个 PCIe 物理功能（PF）和虚拟功能（VF）的资源，可以在各种多功能和虚拟化应用空间中使用单个 QDMA 核心和 PCI Express 接口。

想要打开例子工程很简单，选中 IP Catalog 中的 QDMA，然后点击 Open IP Example Design。

啪，很快嗷，一个新的工程就打开了。这个工程包含了一个 QDMA 的 IP 核，一个 BRAM 的 IP 核，还有很多 Verilog 代码。

轻车熟路的话，你可以直接编译这个工程，然后下载到板子上，看看效果。

打开仅有的约束文件 xilinx_qdma_PCIe_x0y1.xdc 看看，发现关于复位的约束是注释状态（甚至管脚还是错的）。 很明显，这个项目是用于仿真的，所以不需要真实的外部接口提供复位信号。

于是加上复位约束、时钟约束、管脚约束，再次编译，再次下载，再次测试。

OK 了，兄弟们。可以读到 PCIe 设备了。

赶紧从 GitHub 上火速克隆了 dma_ip_drivers 项目，然后进入到 dma_ip_drivers/QDMA/linux-kernel/，一个 make，一个 make install。

新手还在新手村观望，老手已经在 grep 了。

在 dma_ip_drivers/QDMA/linux-kernel/driver/libqdma/qdma_access/qdma_access_common.c 中有这么一段代码：

啊，天哪！当我听到你告诉我，你竟然在调试那个棘手的 bug 上费了大半天的时间，然后我又听到了一个令我震惊的事实——你居然连QDMA的官方文档都没有翻阅过！这简直就是一个令人咋舌的故事，一个关于懒惰和漫不经心的故事。哦，我感到了内心的颤抖，仿佛置身于一个离奇的悬疑小说中，而你，竟然成了其中最离奇的角色。

在这个愈发复杂和竞争激烈的时代，以及如此复杂和繁琐的技术领域，我们每个人都应该时刻保持警觉，兢兢业业地掌握所需的知识和技能。而你，唉，却选择了一条令人费解的道路，将自己置于无知的边缘。

QDMA的官方文档，是一本充满智慧和经验的宝典，是一把打开知识之门的钥匙。然而，你却选择了忽视它的存在，对它的无视简直是对智慧的亵渎！

噢，我为你感到遗憾，为你的疏忽和懒散感到深深的惋惜。或许，你应该反思一下自己的态度和行为，重新审视自己的职业素养和责任感。希望你能从这个教训中汲取教益，迎头赶上那些勤奋而有追求的人们，向着更高的目标迈进！

QDMA 的官方文档是 pg302。一通搜索，在 Mailbox 章节发现了这么一段话：

Any PF or VF can communicate to a PF (not itself) through mailbox. Each function implements one 128B inbox and 128B outbox. These mailboxes are visible to the driver in the DMA BAR (typically BAR0) of its own function. At any given time, any function can have one outgoing mailbox and one incoming mailbox message outstanding per function.

很明显，这个 QDMA_MAGIC_NUMBER 是用来判断是否是 QDMA 的配置寄存器的。而这个配置寄存器是需要 mailbox 支持的。而从始至终，都没有关心 mailbox 是不是启用状态。

直接双击自定义 IP 核，果然是没开。打开后 ^[43]，再次编译，再次下载，再次测试。这次终于是没问题了。驱动可以成功挂上，qdma_run_test_pf.sh 等测试脚本也可以欢快地跑起来了。

所以在 qdma_ex.tcl 预先开启了 SR-IOV 功能，然后才打开例子工程。

Block Design 能够以图形化的方式设计和组织 FPGA 的 IP 核、时钟域、数据流等。这可以快速搭建复杂的硬件功能，而不需要从头开始写RTL代码。而且，它还自带检查工具，不仅能够检查数据位宽匹配问题，还能够检查跨时钟域、复位域等问题。这可以保证问题检出能够在综合、布局布线之前。

首先就是点击上面的“+”，添加一个 IP 核。然后在搜索框中输入 QDMA，就可以找到 QDMA 的 IP 核了。

这个时候 Vivado 会很 “贴心” 地弹出一个小绿条，要抢着帮你连线。在很多时候，这个小绿条很好用，像 XDMA 等可谓是开箱即用。但是，现在是 QDMA，这玩意会把你的设计搞得一团糟。

首先映入眼帘的是 soft_reset_n 没接。这个信号是用来复位 QDMA 的，虽然悬空在大部分情况下问题不大，但是也不推荐悬空。

直接生成最外层的 wrapper，导入管脚约束，综合，布局布线，烧录。

这问题似曾相识，似乎在前面遇到过这个问题。但是，这次的问题不是 mailbox 没开，而是 mailbox 开了。

盲猜这时候又有 老手 开始改驱动了。_{看来你觉得你前面写的那么多都是无用功啊。}很明显，但凡看我前面写了这么多，就知道这个问题肯定不是驱动的问题。

其实看看 Warning 就已经能看到一些线索了，QDMA 有输入引脚悬空。

很多人就要问了，

1. 为啥不能悬空呢？

   可以悬空，但是 ready 肯定是不能悬空的。 所以，这里的问题就是 ready 悬空了。这个信号是用来告诉 QDMA，下游已经准备好了，可以开始传输数据了。如果这个信号悬空，那么 QDMA 就会一直等待下游准备好，而下游也会一直等待 QDMA 开始传输数据，这就是死锁。

2. 那具体是哪个 ready 信号线没接呢？

   看输出的 Warning。这里是 tm_dsc_sts_rdy 和 qsts_out_rdy。

最后，把 ready 信号线接上，再次编译，再次下载，再次测试。

噔噔咚，终于可以正常工作了。