分布式训练

kemaiktwxa

DP：完整模型，部分数据MP：部分模型，完整数据PP：模型分阶段，数据分小批次，形成流水线TP：张量级并行，处理单个大型操作

DP + MP：

设备内：传输MP所需的中间激活值和梯度设备间：传输DP所需的梯度和更新后的模型参数

DP + PP：

流水线内：传输PP所需的中间激活值、梯度和微批次元数据流水线间：传输DP所需的梯度和更新后的模型参数

DP + TP：

TP组内：传输分片张量和同步信息TP组间：传输DP所需的梯度和更新后的模型参数

总结：

DP主要传输完整的梯度和模型参数MP传输层间的中间结果和梯度PP传输阶段间的中间结果、梯度和控制信息TP传输分布式操作的部分结果和同步信息