AI网络互连高频术语解释：一张图看懂数据流动

AI集群算力再强，网络互连不畅也会让训练效率大打折扣。今天用一张名词地图，说清那些绕口的高频术语。

基础传输介质与速率

InfiniBand（IB）

InfiniBand是一种高性能网络互连技术，专为数据中心和高性能计算设计。它采用高带宽、低延迟的通道架构，支持远程直接内存访问。在AI训练集群中，InfiniBand常作为计算节点间主要互连方式，提供400Gbps甚至更高速率。实际部署时，通常搭配专用交换机和HCA卡（主机通道适配器）。

以太网RoCE

RoCE（RDMA over Converged Ethernet）是在标准以太网上实现RDMA的技术，分为RoCE v1和v2。RoCE v2增加了UDP/IP封装，可路由到三层网络。与InfiniBand相比，RoCE部署成本较低，但需要网络设备支持PFC（优先级流控）和ECN（显式拥塞通知）才能确保无损传输。2026年，400G RoCE在AI推理场景中逐渐普及。

带宽与速率指标

传输速率通常以Gbps或Gbaud表示。例如，400Gbps的端口理论峰值每秒传50GB数据。但实际有效吞吐受协议开销、线路编码（如RS-FEC）、链路距离等多因素影响。集群互连规划时，不仅要看单端口峰值，还要考虑端到端带宽利用率。

网络拓扑与架构

Fat Tree（胖树）

胖树是一种无阻塞拓扑，通过分级交换机连接所有节点。每层上行带宽不小于下行，确保任意两节点间具有相等带宽。常见于InfiniBand集群，适用于全规约（AllReduce）等通信模式。胖树架构扩展性好，但需要的交换机端口较多。

Dragonfly+（蜻蜓+）

蜻蜓拓扑采用分组设计，组内全连接，组间通过少数全局链路互联。相比胖树，它减少了长距离链路数量，降低延迟和成本。Dragonfly+是近年AI网络的热门选择之一，尤其适合千卡以上集群。链路负载均衡策略复杂，需配合自适应路由。

Torus（环面）

环面拓扑将节点排列在N维网格中，每个节点仅与相邻节点相连。常用3D-Torus，适合邻居通信密集的模型并行场景。例如，谷歌TPU v4使用4x4x4 Torus。环面拓扑扩展成本低，但非邻居通信延迟较高，需要精心规划任务映射。

关键协议与标准

NVLink & NVSwitch

NVLink是NVIDIA开发的高速GPU直连协议，提供点对点高带宽（例如，NVLink 4.0单链路峰值900GB/s）。NVSwitch作为交换机，将多GPU组成全互联拓扑。NVLink用于DGX系统内部，外部网络仍依赖InfiniBand或RoCE。

CXL（Compute Express Link）

CXL基于PCIe物理层，支持缓存一致性、内存池化和I/O设备加速。在AI场景中，CXL可让CPU、GPU、加速器共享统一内存空间，减少数据拷贝。2026年，CXL 3.0已支持多层级交换，实现内存池化，为大规模训练提供弹性内存。

GPUDirect P2P / RDMA

GPUDirect P2P允许GPU间直接数据交换，无需经过CPU内存。RDMA则允许设备绕过操作系统内核直接读写远程内存。结合使用，可显著降低通信延迟。许多AI框架（如PyTorch）的分布式训练后端（NCCL）依赖这些技术。

网络性能参数

延迟（Latency）

延迟指数据从源头到目的地的时间，包括发送、传输、处理、接收等环节。AI训练中对延迟敏感，尤其是多节点AllReduce操作。InfiniBand延迟通常在1-3微秒量级，而RoCE加上PFC后可能增加到5-10微秒。更低的延迟意味着更快的梯度聚合。

吞吐量（Throughput）

吞吐量是单位时间成功传输的数据量。受链路速率、网络拥塞、协议效率影响。对于AI训练，需要同时关注端到端吞吐和聚合吞吐。例如，400Gbps端口在理想条件下理论峰值50GB/s，但实际由于小包和确认机制，可能只能达到40GB/s左右。

抖动（Jitter）

抖动是延迟的变化量。高抖动会导致某些通信操作等待超时，降低整体效率。无损网络（如RoCEv2）通过PFC和ECN控制抖动。在AI集群中，抖动通常要求控制在微秒级，否则会拖慢同步训练。

拥塞控制与可靠性

拥塞控制算法（DCQCN / TIMELY）

DCQCN（Data Center Quantized Congestion Notification）是RoCEv2中常用算法，利用ECN标记反馈进行速率调节。TIMELY则基于RTT测量，适用于高速网络。合理配置参数对避免PFC风暴至关重要。例如，2026年有厂商推出基于强化学习的自适应拥塞控制。

PFC（优先级流控）和死锁

PFC通过暂停帧控制端口的流量发送，防止缓冲区溢出。但多级PFC可能导致死锁和尾延迟激增。先进网络通过ECN替代PFC，或采用基于Credit的流控。可靠性方面，除了链路级CRC，还有端到端重传机制，确保训练不中断。

链路层错误处理

高速网络（如400Gbps）受信号完整性影响，可能出现比特错误。RS-FEC（里德-所罗门前向纠错）能修正大部分错误。如果误码率过高，链路可能降级或断连。实际运维中，需要监测链路误码率并定期更换光模块。

新兴趋势与概念

光互连与硅光子

光互连利用激光传输数据，功耗低、带宽高、距离远。2026年，硅光子技术开始商业化，将光引擎集成到芯片封装内，实现片间光互连。例如，某厂商展示的共封装光学（CPO）交换机，可节省40%功耗。光互连有望解决电信号在高速下的信号衰减问题。

智能网卡（SmartNIC）与DPU

智能网卡将网络处理、安全、存储卸载到硬件，减轻CPU负担。DPU（数据处理器）更进一步，提供可编程的数据平面。在AI网络中，SmartNIC可以执行集合通信（如AllReduce）卸载，减少GPU参与，提升端到端效率。

NCCL与集合通信库

NVIDIA Collective Communications Library（NCCL）是GPU集群中常用的通信库，提供AllReduce、AllGather等操作。它底层利用NVLink、InfiniBand等硬件加速。优化NCCL参数（如算法选择、环序）对提升训练吞吐有直接影响。类似的开源库还有RCCL（AMD）和OneCCL（Intel）。

常见问题