分布式的训练和推理中通信、nvlink和nvcc是什么？

weixin_51097521

394人浏览 · 2026-06-02 15:15:17

weixin_51097521 · 2026-06-02 15:15:17 发布

一、前言

8 卡的速度往往不是单卡的 8 倍，线性加速比低得可怜。

你开始怀疑是不是代码写得不好，于是优化了数据加载，开启了混合精度，调整了 batch size，但性能提升依然微乎其微。你甚至开始怀疑是不是买到了假显卡。

在大模型时代，100 个 gpu 的集群就像一个工厂，有 100 个世界上最快的工人，但只有一条狭窄的传送带。工人生产出零件后，需要排队等待传送带把零件传给下一个工人。结果就是，大部分工人大部分时间都在闲着，而传送带忙得冒烟。

这个传送带，就是我们今天要讲的通信。

二、通信到底是什么？大模型的生命线

在大模型的世界里，通信就是不同计算设备之间的数据传输与协调。

如果把大模型训练比作盖一栋大楼，那么：

GPU 就是建筑工人，负责搬砖、砌墙、浇筑混凝土
模型参数就是建筑图纸和材料
通信就是工地里的塔吊、卡车和传送带，负责把材料和图纸送到正确的工人手中

没有通信，再多的 GPU 也只是一堆孤立的硅片，无法协同工作。

对于大模型训练来说，最常见的通信操作包括：

梯度同步：每个工人计算出自己负责部分的误差，然后汇总到一起，更新整体的建筑图纸
参数分发：把更新后的图纸分发给所有工人
中间结果传递：前一个工人完成自己的工序后，把半成品传给下一个工人

通信的速度和效率，直接决定了整个工程的进度。如果通信太慢，即使有再多的工人，整个工程的速度也不会加快。这就是为什么很多多卡系统的加速比远低于理论值的根本原因。

三、过去的通信方式：PCIe 的 "原罪"

在 NVLink 出现之前，所有 GPU 之间的通信都只能通过PCIe 总线来完成。

PCIe 是一个非常成功的通用总线标准，它连接了电脑里几乎所有的外设：显卡、固态硬盘、网卡、声卡等等。但它的设计初衷，是为了让 CPU 和外设之间通信，而不是为了让外设和外设之间通信。

这就导致了 PCIe 在大模型场景下，有三个无法克服的 "原罪"：

1. 星型拓扑的结构性缺陷

PCIe 采用 "CPU 为中心" 的星型拓扑。所有的 GPU 都像星星一样围绕着 CPU，GPU 之间没有直接的连接。

这意味着，GPU0 想要给 GPU1 发数据，必须先把数据发给 CPU，然后 CPU 再把数据发给 GPU1。就像工人之间不能直接说话，必须先告诉工头，工头再转告另一个工人。

当只有 2 个 GPU 的时候，这个问题还不明显。但当有 8 个 GPU 同时通信的时候，CPU 就会成为严重的瓶颈。所有的数据流都要经过 CPU，就像所有的汽车都要经过一个十字路口，必然会发生严重的拥堵。

2. 带宽与算力的严重不匹配

PCIe 的带宽增长速度，远远落后于 GPU 的算力增长速度。

2016 年的 Pascal P100，算力是 21TFLOPS，PCIe 3.0 x16 带宽是 32GB/s
2024 年的 Blackwell B200，算力是 4000TFLOPS，增长了 190 倍
2024 年的 PCIe 5.0 x16 带宽是 128GB/s，只增长了 4 倍

这就导致了一个荒谬的局面：GPU 计算出结果只需要 1 微秒，但把结果传给另一个 GPU 却需要 10 微秒。GPU90% 的时间都在等待通信，而不是在计算。

3. 无缓存一致性

PCIe 不支持 GPU 之间的缓存一致性。这意味着，一个 GPU 修改了自己显存里的数据，另一个 GPU 是看不到的。必须显式地把数据从一个 GPU 拷贝到另一个 GPU，才能让对方看到。

这不仅增加了大量的数据拷贝开销，还大大增加了编程的复杂度。程序员必须手动管理所有的数据传输，稍有不慎就会出现数据不一致的问题。

正是因为 PCIe 的这些 "原罪"，当模型规模超过 7B 参数时，多卡训练的效率就会急剧下降。为了解决这个问题，NVIDIA 推出了一项革命性的技术：NVLink。

四、两大基石：NVLink 与 NVCC，重新定义分布式计算

很多人以为 NVLink 只是 "更快的 PCIe"，这是一个非常肤浅的理解。NVLink 不是更快的总线，而是一种全新的分布式计算架构。而要充分发挥 NVLink 的能力，离不开另一个同样重要的技术：NVCC。

4.1 NVLink：从 "CPU 为中心" 到 "GPU 为中心"

NVLink 完全颠覆了 PCIe 的设计思想。它不再以 CPU 为中心，而是以 GPU 为中心。

在 NVLink 架构中：

GPU 之间通过专用的点对点链路直接通信，完全绕过 CPU
每个 GPU 都可以像访问本地内存一样访问其他 GPU 的显存
结合 NVSwitch 芯片，可以实现 8 卡、16 卡甚至 72 卡全互联
所有 GPU 共享一个统一的地址空间，支持硬件级的缓存一致性

这就相当于把多个 GPU 变成了一个逻辑上的单一超级 GPU。对于程序员来说，使用多 GPU 几乎和使用单 GPU 一样简单。

最新的 NVLink 5.0，单卡总带宽达到了 1.8TB/s，是 PCIe 5.0 x16 的 14 倍以上。这意味着，GPU 之间传输数据的速度，几乎和访问自己的显存一样快。

4.2 NVCC：让硬件能力真正落地的 "翻译官"

有了 NVLink 这条高速公路，还需要一个优秀的司机来开车，这个司机就是NVCC。

很多人以为 NVCC 只是一个普通的 C++ 编译器，这也是一个很大的误解。NVCC 不是编译器，而是一个完整的异构编译工具链。它的核心作用，是把人类写的高级代码，翻译成 GPU 能执行的高效机器码。

更重要的是，NVCC 在编译阶段就知道 NVLink 的存在。当你用 NVCC 编译一个多 GPU 程序时，它会：

自动检测目标 GPU 的 NVLink 拓扑结构
选择最适合该拓扑的通信算法
调整数据块的大小和通信粒度，最大化带宽利用率
把计算和通信融合在一起，让它们同时进行

如果没有 NVCC 的编译优化，即使有 NVLink，也无法发挥出它的全部性能。就像你有一辆法拉利，但让一个新手来开，速度还不如一个老司机开的大众。

4.3 两者的协同：1+1>2 的化学反应

NVLink 和 NVCC 是 NVIDIA 构建 CUDA 生态护城河的两大基石，它们深度协同，产生了 1+1>2 的化学反应。

NVLink 提供了硬件层面的高速通道，NVCC 提供了软件层面的编译优化。没有 NVLink，NVCC 再厉害也只能在低速的 PCIe 上跑；没有 NVCC，NVLink 再快也只是一堆无法利用的金属和硅片。

正是这种硬件和软件的深度协同，让 NVIDIA 在大模型时代建立了无可撼动的领先地位。其他厂商可以做出和 NVIDIA 性能差不多的 GPU，但他们无法复制 NVLink 和 NVCC 这种几十年积累下来的软硬件协同优势。

五、通信的本质：无处不在的消息队列

很多人有一个错误的认知："NVLink 就是直接把数据从一个 GPU 的内存搬到另一个 GPU 的内存"。实际上，所有的多卡通信，本质上都是消息传递，而消息队列就是这个过程的核心。

5.1 消息传递模型

现代多卡通信基于消息传递模型，而不是直接内存拷贝模型。也就是说：

GPU A 不能直接写入 GPU B 的内存
GPU A 只能发送一条包含数据的消息
GPU B 接收这条消息后，再将数据写入自己的内存

这就像你不能直接把东西放到别人的家里，你只能把东西交给快递员，快递员送到别人家里，别人再把东西拿进去。

而消息队列，就是这个过程中的快递站。它负责接收、分拣、调度所有的消息，确保它们能够准确、及时地到达目的地。

5.2 三层消息队列架构

在实际的系统中，消息队列分为三个层次，从软件到硬件逐层深入：

1. 应用层队列

这是最上层的队列，由 NCCL 库实现。它负责管理用户提交的通信请求，把大的通信任务拆分成小的消息，然后交给下层处理。

2. 驱动层队列

这是中间层的队列，由 CUDA 驱动实现。它负责管理 GPU 上的所有任务，包括计算任务和通信任务，按照优先级调度它们的执行。

3. 硬件层队列

这是最底层的队列，直接由 GPU 硬件实现。每个 NVLink 链路和 PCIe 链路都有自己的发送和接收队列，由专门的硬件单元管理。

当你发送一条消息时，它会依次经过这三层队列，最终到达目标 GPU。整个过程看起来复杂，但因为硬件加速和软件优化，延迟可以低至 1 微秒以下，让你感觉像是 "直接拷贝"。

六、通信技术驱动的分布式大模型发展

大模型的发展历史，本质上就是通信技术的发展历史。每一次通信技术的进步，都带来了分布式策略的革命，让更大规模的模型训练成为可能。

第一阶段：单机单卡时代（2012-2016）

在这个时代，模型规模很小，最大的模型也只有几十 M 参数。一张 GPU 就可以轻松装下，不需要分布式训练。通信只发生在 CPU 和 GPU 之间，PCIe 完全够用。

第二阶段：数据并行时代（2016-2019）

随着模型规模增长到 B 级别，单卡已经装不下了。人们发明了数据并行：每张 GPU 都有完整的模型副本，各自训练不同的数据，最后同步梯度。

但数据并行的通信量很大，PCIe 的带宽开始成为瓶颈。这个时候，NVLink 1.0 和 2.0 出现了，大大提升了多卡训练的效率。

第三阶段：3D 并行时代（2019-2022）

当模型规模增长到 100B 级别时，数据并行也不够用了。人们发明了 3D 并行：数据并行 + 张量并行 + 流水线并行。

其中，张量并行对通信的要求极高，每一步计算都需要 GPU 之间频繁通信。没有 NVLink，张量并行几乎无法使用。NVLink 3.0 的出现，让 100B 参数模型的训练成为可能。

第四阶段：万卡集群时代（2022 - 至今）

现在，模型规模已经增长到了万亿参数级别，需要成千上万张 GPU 协同训练。这个时候，不仅需要节点内的 NVLink，还需要节点间的 InfiniBand 高速网络。

NVLink 4.0 和 5.0 的出现，将节点内的互联规模扩展到了 72 卡，大大降低了跨节点通信的需求。结合 InfiniBand，人们已经可以训练超过 10 万亿参数的模型。

可以看到，通信技术的上限，决定了大模型规模的上限。没有通信技术的进步，就没有今天的大模型革命。

七、现在的框架与底层通信的关系

理解了通信技术的发展，我们再来看现在流行的训练和推理框架，就会发现它们的本质都是在不同的通信能力下，寻找最优的分布式策略。

7.1 训练框架：最大化利用通信带宽

Megatron-LM：专门为有 NVLink 的高端集群设计。它大量使用张量并行，对通信带宽要求极高。没有 NVLink，它的性能会下降 80% 以上。
DeepSpeed：更通用的训练框架。它的 ZeRO 技术可以在 PCIe 环境下运行，但有 NVLink 的话，性能会提升 30%-50%。
FSDP：PyTorch 官方的标准方案。它的设计目标是通用性，在 PCIe 和 NVLink 环境下都能运行得不错。