AllReduce

1 篇文章

2026年10月6日如何扩展你的模型（3）：分片矩阵与分片矩阵乘法中英对照第 3 篇：用「分片矩阵乘法」这把钥匙打开多设备并行——各种分片方式（replicated / sharded / 混合）下 AllGather、ReduceScatter、AllReduce 的通信代价是怎么算出来的。左栏原文，右栏译文。分片集合通信 AllReduce scaling 中英对照