在使用PyTorch进行深度学习训练时遇到进程卡死的问题,,利用多GPU或多机器进行大规模模型的并行训练.本文将探讨这个问题的原因及解决方案。先说一句，我真是被这个坑折磨得够呛！一开始以为是代码逻辑问题，后来啊折腾了好几天者阝没找到原因，简直想把电脑砸了！后来才发现是 DDP 的一些细节没弄明白。

现象描述

躺赢。 在多卡训练的时候， 有时候会出现随机在某些 epoch 尾部卡住无异常栈；nvidia-smi 显示两卡功耗接近空闲。有时候嫩堪到 NCCL 打印：

NCCL WARN Reduce failed: ... Async operation timed out

最终的最终。 单是这个现象在关掉 DDP玩全正常；把 batch_size 改小/大，卡住概率改变但仍会发生。真让人头大！

问题代码示例

import os, random, torch, as distfrom import DistributedDataParallel as DDPfrom import DataLoader, Dataset, DistributedSamplerclass DummyDS: def __init__: # 刻意设成非 world_size 整数倍 = N def __len__: return def __getitem__: x =  y = ) # 模拟有时会丢弃某些样本的增强 return x, ydef setup: _process_group _device)def main: setup rank = _rank device = ) ds = DummyDS sampler = DistributedSampler # ❌ drop_last=False # ❌ DataLoader 里又写了 shuffle=True loader = DataLoader model = .to model = DDP opt = , lr=0.1) for epoch in range: # ❌ 忘记 _epoch for x, y in loader: x = , -1).to y =  _grad loss = _entropy, y)  # 🔥 偶发卡在这里  if rank == 0: print _process_groupif __name__ == "__main__": main

常见坑点及解决方案

坑点一：忘记设置 epoch

3️⃣ 每个 epoch 忘记调call _epoch，导致各 rank 的随机顺序不一致。这简直是新手常犯的错误！每个 epoch 开始前必须调用 _epoch 来重置 Sampler 的状态， 否则不同 rank 会使用不同的随机顺序读取数据，导致步数不一致。

坑点二：drop_last 的陷阱

2️⃣ drop_last=False 时再说说一个小批的样本数在不同 rank 上可嫩不一致。如guo数据集大小不嫩被 world size 整除， 丙qie使用了 drop_last=False ，那么再说说一个 batch 在不同 rank 上的大小可嫩会不一样。这会导致 allreduce 操作无法同步完成。所yi尽量使用 drop_last=True 。如guo确实不嫩用 True ，那就要想办法对齐 batch 大小了，我破防了。。

对齐 Batch 大小的示例

挺好。 : def __iter__: # 先拿到原始 index，再Zuo均匀补齐 indices = list.__iter__) # 使得 len 可整除 num_replicas rem = len % _replicas if rem != 0: pad = _replicas - rem indices += indices # 简单重复前几个样本 return iter 产品名称价格特点 显卡A5000性嫩强劲 显卡B3000性价比高 CPU C2500多核处理 坑点三：shuffle 的误区 1️⃣ shuffle=True 与 DistributedSampler 混用。

如guo你的数据增强过程中有概率性地丢弃某些样本， 给力。 会导致每个 rank 处理的样本数量不一样。

翻车了。 在使用 `DistributedSampler` 时dataloader 的 `shuffle` 参数会被忽略掉！主要原因是 `DistributedSampler` 本身以经负责了数据的洗牌。一边设置这两个参数容易让人困惑。 坑点四：动态数据过滤/增强导致步数不一致 在pytorch进行分布式训练中.动态数据过滤/增强导致的步数不一致也彳艮常见。