局域网组网技术
局域网组网技术种类繁多，从传统的以太网到专用的 InfiniBand，从通用的 USB 到面向汽车电子的 CAN 总线，不同技术各有其适用的场景。理解这些技术的特点、性能边界和应用场景，是构建高性能通信网络的基础。
局域网通信技术可以按照通信距离、带宽、延迟、实时性等维度进行分类。从物理媒介看，有铜缆（双绞线、同轴电缆）、光纤（单模、多模）、无线（2.4G/5G WiFi、蓝牙）等。从协议栈层次看，有基于硬件电路的内存映射（PCIe NTB）、绕过内核的用户态协议（RDMA Verbs）、标准网络协议栈（TCP/IP）、专用工业协议（CAN Frame）等。
主流方案对比
PCIe NTB (Non-Transparent Bridging)
PCIe NTB 是一种点对点的组网方案，允许两台计算机通过 PCIe 缆线直接连接，共享内存空间进行通信。NTB 技术在硬件层面创建一个非透明桥接，两端的 CPU 可以访问对方的内存地址空间，实现真正的内存级别通信。
PCIe NTB 的性能是所有组网方案中最高的。由于基于 PCIe 3.0 x4 或更高规格，单向带宽可达 32Gbps 以上，延迟低至亚微秒级（< 1μs）。通信过程完全由硬件和 DMA 控制，CPU 负载极低。这种方案适合异构计算场景，如 GPU 和 FPGA 加速卡与主机的通信、多台服务器的内存池化。
但 PCIe NTB 的局限性也很明显。连接距离通常限制在数米内，扩展性差，只能点对点连接。成本较高，需要专用的 NTB 硬件支持。在工程实践中，PCIe NTB 主要用于高性能计算和实时数据处理场景，如雷达信号处理、高频交易系统。
RDMA (Remote Direct Memory Access)
RDMA 是一种绕过操作系统内核、直接访问远程内存的网络技术。传统的网络通信需要数据在内核空间和用户空间之间多次拷贝，RDMA 允许应用直接将数据写入远程主机的内存，实现了零拷贝、内核旁路的高效传输。
RDMA 有多种传输协议，InfiniBand 是最早的实现，但需要专用的硬件和交换机。RoCE (RDMA over Converged Ethernet) 和 iWARP (RDMA over iWARP) 可以在以太网上运行 RDMA，降低了部署成本。RoCE v2 基于 UDP 协议，可以在标准的 L2/L3 网络上运行，是目前的主流选择。
RDMA 的优势在于极低的延迟（2-10μs）和极低的 CPU 负载。在高并发、大数据量传输场景下，RDMA 可以显著提升系统吞吐量。典型的应用包括分布式存储（Ceph、GlusterFS）、高性能计算集群、大规模数据库（Oracle RAC、MySQL Cluster）。
RDMA 的部署需要支持 RDMA 的网卡（如 Mellanox ConnectX 系列）和相应的驱动库（libverbs、librdmacm）。应用层需要使用 Verbs API 或其上层封装（如 MPI、UCX）进行编程，开发门槛相对较高。
rdma，usb cdc/hid，nvme over pcie，
Thunderbolt 4 / USB 4.0
Thunderbolt 是由 Intel 和 Apple 联合开发的高速接口技术，融合了 PCIe 和 DisplayPort 协议。Thunderbolt 4 的带宽达到 40Gbps，可以同时传输数据和视频信号。USB 4.0 基于 Thunderbolt 3 协议，同样支持 40Gbps 带宽和 PCIe Tunneling。
Thunderbolt 的优势在于兼顾高带宽和外设扩展性。一个 Thunderbolt 接口可以级联多个设备，支持外部显卡、外置存储、扩展坞等应用。Thunderbolt 4 还支持 100W 电力传输，可以为外设供电。
从延迟角度看，Thunderbolt 的延迟在 20-60μs 范围，远高于 PCIe NTB 但优于传统网络。这是因为 Thunderbolt 在软件层面仍需要经过 IOMMU 和驱动层的处理，无法实现真正的内存级别访问。
Thunderbolt 适合需要高带宽和灵活扩展的场景，如视频编辑工作站、移动工作站的外设扩展。但 Thunderbolt 线缆和设备成本较高，在大规模部署中不如以太网经济。
USB 3.1 Gadget
USB Gadget 模式允许嵌入式设备模拟成 USB 外设，与主机进行通信。Linux 的 USB Gadget 驱动支持多种设备类，如以太网模拟（RNDIS、CDC ECM）、串口模拟（CDC ACM）、大容量存储模拟（Mass Storage）等。
USB 3.1 的理论带宽达到 5Gbps 或 10Gbps，但实测延迟较高（200-500μs），CPU 负载也较高。这是因为 USB 协议本身是主机轮询模式，设备需要响应主机的频繁请求，中断开销大。实践中，带宽和延迟往往是来自于 CPU 和系统协议瓶颈。
USB Gadget 的最大优势是成本最低，无需额外硬件。任何支持 USB OTG 的芯片都可以实现 USB Gadget 功能。在工程实践中，USB Gadget 常用于开发板的调试连接、虚拟机与宿主机的文件传输、手机与电脑的数据同步。
10G Ethernet
万兆以太网是最成熟、兼容性最强的组网方案。标准 TCP/IP 协议栈保证了不同厂商设备的互操作性，Cat6A 双绞线或 SFP+ 光纤提供了灵活的物理连接选择。
10G 以太网的理论带宽为 10Gbps，实测延迟在 100-300μs 范围。延迟主要来自协议栈处理，包括数据包封装、TCP 握手、内核态与用户态的数据拷贝等。使用内核绕过技术（如 DPDK、XDP）可以降低延迟，但会增加开发复杂度。
10G 以太网的核心优势是兼容性和成熟度。从服务器到交换机、从网卡到路由器，整个生态链路都有成熟的产品和解决方案。对于大多数应用场景，10G 以太网都能提供足够的性能，而且部署和运维成本可控。
CAN Bus
CAN (Controller Area Network) 总线是专为汽车电子设计的实时通信总线。CAN 2.0B 的标准速率是 1Mbps，采用差分信号传输，抗干扰能力强。CAN 总线使用 CSMA/CR（载波侦听多路访问/冲突解决）仲裁机制，保证高优先级消息的实时传输。
CAN 总线的带宽虽然很低（1Mbps），但实时性极高（500μs - 2ms），而且 CPU 负载低。CAN 控制器硬件实现消息过滤，只有匹配的消息才会触发中断，大大减轻了 CPU 负担。
CAN 总线广泛用于汽车电子（发动机控制、车身控制）、工业自动化（传感器网络、运动控制）、医疗设备（监护设备、诊断仪器）。在工程实践中，CAN 总线的可靠性是首要考虑因素，即使在强电磁干扰环境下也能保证通信不中断。
选型决策框架
组网方案的选型需要综合考虑多个维度，包括带宽、延迟、距离、成本、扩展性、开发难度等。
带宽需求是首要考虑因素。如果应用需要传输海量数据（如视频流、科学计算），应该选择 PCIe NTB、RDMA 或 Thunderbolt 等高带宽方案。如果只是传输控制信号或传感器数据，CAN 总线或普通以太网就足够了。
延迟需求对实时性应用至关重要。工业控制、汽车电子、高频交易等场景需要微秒级延迟，应该选择 PCIe NTB 或 RDMA。普通商业应用可以容忍毫秒级延迟，10G 以太网是经济的选择。
部署距离限制了物理层的选择。如果设备在同一机柜或相邻机柜，铜缆或短距光纤是可行的。如果需要跨机房或跨地域传输，只能选择以太网或光纤网络。
成本预算往往是决定性因素。RDMA 和 Thunderbolt 设备昂贵，适合高价值应用。以太网设备性价比高，适合大规模部署。USB Gadget 和 CAN 总线成本低，适合嵌入式和工业场景。
| 方案 | 带宽 | 延迟 | 距离 | 成本 | 适用场景 |
|---|---|---|---|---|---|
| PCIe NTB | 极高 | 极低 | 极短 | 高 | 异构计算、实时信号处理 |
| RDMA RoCEv2 | 高 | 低 | 中 | 高 | 分布式存储、HPC 集群 |
| Thunderbolt 4 | 高 | 中 | 短 | 高 | 视频编辑、工作站扩展 |
| USB 3.1 Gadget | 中 | 高 | 短 | 低 | 开发调试、虚拟化 |
| 10G Ethernet | 中 | 中 | 长 | 中 | 通用服务器、数据中心 |
| CAN Bus | 低 | 实时 | 中 | 低 | 汽车电子、工业控制 |
工程实践建议
在大多数场景下，10G 以太网是最稳妥的选择。它提供了足够的带宽、合理的延迟、良好的兼容性和可控的成本。除非有明确的性能瓶颈或特殊需求，否则不需要追求更复杂的方案。
RDMA 适合作为优化手段，在传统以太网无法满足性能要求时考虑。部署 RDMA 需要专业的网络知识和调试能力，建议在小规模验证后再大规模部署。
CAN 总线是汽车电子和工业控制的标准选择，不应该考虑其他方案。CAN 总线的实时性和可靠性是经过长期验证的，在相关领域有成熟的生态和工具链。
PCIe NTB 和 Thunderbolt 属于小众方案，只在特定场景下有价值。在方案设计阶段，应该充分评估其必要性和替代方案，避免过度设计。
前沿互联技术
随着人工智能和高性能计算的兴起，传统的 PCIe 总线在多 GPU 协作、大规模分布式训练等场景下开始显现瓶颈。工业界发展出多种专用的高速互联技术，这些技术往往采用闭源软硬件方案，提供远超通用总线的性能。
NVLink
NVLink 是 NVIDIA 开发的 GPU 间高速互联技术，旨在解决 PCIe 带宽不足的问题。在深度学习训练中，模型参数和梯度需要在 GPU 之间频繁同步，如果走 PCIe 通道会成为明显的瓶颈。NVLink 提供了比 PCIe 高得多的带宽和更低的延迟，使得多 GPU 系统可以像单个大 GPU 一样工作。
NVLink 4.0 的单 GPU 总带宽可达 900GB/s，是 PCIe 5.0 x16 (64GB/s) 的十倍以上。NVLink 采用直连拓扑，通过 NVSwitch 可以实现 GPU 之间的高速全互联。在 H100 GPU 上，每个 GPU 有 18 个 NVLink 通道，总带宽达到 900GB/s。
NVLink 的一个关键特性是支持统一的内存寻址空间。通过 NVLink 连接的多个 GPU 可以访问彼此的显存，形成一个共享内存池。应用可以透明地使用所有 GPU 的显存，无需手动管理数据拷贝。这种机制大大简化了大规模并行计算的编程模型。
从工程角度看，NVLink 是完全闭源的方案。NVIDIA 不公开 NVLink 的协议细节和硬件实现，开发者只能通过 CUDA 编程模型使用 NVLink 的功能。这种闭源策略保证了 NVIDIA 的技术护城河，但也限制了第三方厂商的生态参与。
NVLink 主要应用于大规模 AI 训练集群、科学计算、金融建模等场景。在这些场景中，GPU 间通信是性能瓶颈，NVLink 的高带宽可以显著提升整体效率。但对于单 GPU 或小规模 GPU 系统，NVLink 的优势不明显，成本也难以承受。
Infinity Fabric
AMD 的 Infinity Fabric 是其高性能处理器和加速器的互联技术。在 EPYC 服务器处理器中，Infinity Fabric 用于连接多个 CPU 芯片（Chiplets），实现 NUMA 架构的高效通信。在 Instinct 加速卡中，Infinity Fabric 用于连接 GPU 和 CPU，以及多个 GPU 之间的互联。
Infinity Fabric 采用多维网格拓扑，而非 PCIe 的树形结构。这种设计使得处理器之间的通信路径更短，延迟更低。在 Genoa EPYC 处理器中，Infinity Fabric 的带宽达到每秒数百 GB，延迟低至几十纳秒。
与 NVLink 不同，Infinity Fabric 不是完全封闭的。AMD 在一定程度上公开了 Infinity Fabric 的架构细节，允许第三方开发者优化应用在 AMD 平台上的性能。但这种开放仅限于架构层面，具体的协议实现仍然闭源。
CXL (Compute Express Link)
CXL 是一种开放的互联标准，基于 PCIe 物理层但重新定义了协议层。CXL 支持三种协议：CXL.io（兼容 PCIe 的 IO 协议）、CXL.cache（设备缓存 CPU 内存）、CXL.mem（CPU 访问设备内存）。这使得 CXL 设备可以作为缓存扩展或内存扩展使用。
CXL 的目标是实现内存池化。服务器可以将多个内存模块集中管理，动态分配给不同的计算节点。这种架构可以显著提高内存利用率，降低总体拥有成本。CXL 2.0 进一步支持了内存交换和共享，为未来的异构计算提供了基础。
CXL 是开放标准，由 Intel、AMD、NVIDIA 等多家厂商共同制定。这使得 CXL 有望成为数据中心级别的互联标准，而不是某个厂商的专有技术。目前 CXL 1.1/2.0 设备已经面世，主要应用于内存扩展和加速卡互联场景。
UCIe (Universal Chiplet Interconnect Express)
UCIe 是面向芯粒（Chiplet）互联的开放标准。随着制程工艺逼近物理极限，将所有功能集成在单块芯片上变得不再经济。芯粒架构允许将不同功能模块用不同工艺制造，然后通过高带宽互联封装在一起。
UCIe 定义了芯粒间的物理层、协议层和软件栈，支持多种协议（如 PCIe、CXL、流式协议）的复用。UCIe 1.0 规范支持高达 1.6Tbps/mm 的带宽密度，远超传统封装内的互联能力。
UCIe 的开放性使其有望成为芯粒互联的行业标准。Intel、AMD、NVIDIA、TSMC、Samsung 等主要厂商都加入了 UCIe 联盟。未来 SoC 内部的模块化互联可能会部分取代外部 PCIe 的功能，实现更高的集成度和能效。
专有互联技术的工程考量
专有互联技术（如 NVLink、Infinity Fabric）在性能上具有明显优势，但引入了供应商锁定风险。一旦选择了某个厂商的专有技术，后续的硬件升级、软件适配、运维工具都受制于该厂商的生态。
从成本角度看，专有技术的硬件和软件授权费用较高。NVLink 需要 NVIDIA 的 GPU 和 NVSwitch，Infinity Fabric 需要 AMD 的 EPYC 和 Instinct，这些都比通用的 PCIe 设备昂贵。但专有技术的高性能可以减少总体节点数量，在一定程度上平衡了硬件成本。
从运维角度看，专有技术需要专门的监控和管理工具。这些工具往往由厂商提供，学习曲线较陡。而且专有技术的调试和故障排查更加困难，社区资源也相对有限。
在实际工程中，专有互联技术应该作为性能优化的最后手段。只有当通用方案（如 PCIe、RDMA）确实无法满足需求时，才考虑采用专有技术。而且在方案设计阶段，应该评估专有技术的迁移路径，避免被单一供应商锁定。