All-Reduce
1 篇文章
- 《走进 TPU 与 GPU 集群：集合通信的解剖》中英对照全译Aleksa Gordić 的长文《Inside TPU and GPU Clusters: The Anatomy of Collective Communication》全文对照翻译：左栏英文原文、右栏对应中文。从 TPU 的 2D/3D torus 与 GPU 的 fat tree 拓扑讲起，把 All-Gather、Reduce-Scatter、All-Reduce、All-to-All 的 ring/tree 实现、代价模型，以及 SHARP 与跨节点分层通信一次讲透。