scaling
4 篇文章
- 如何扩展你的模型（3）：分片矩阵与分片矩阵乘法中英对照第 3 篇：用「分片矩阵乘法」这把钥匙打开多设备并行——各种分片方式（replicated / sharded / 混合）下 AllGather、ReduceScatter、AllReduce 的通信代价是怎么算出来的。左栏原文，右栏译文。
- 如何扩展你的模型（2）：认识 TPU中英对照第 2 篇：从一颗 TPU 芯片的内部结构（MXU/VPU/VMEM/HBM）讲到 ICI 互联、机架与 Pod，解释这些硬件事实如何决定了你能训练和部署什么样的模型。左栏原文，右栏译文，配图保留。
- 如何扩展你的模型（1）：Roofline 分析入门中英对照第 1 篇：roofline 模型是理解一切性能问题的起点——算力、带宽、显存三者的取舍如何决定一个算法能跑多快。含算术强度、带宽受限与计算受限、以及一组可以自己动手算的练习题。左栏原文，右栏译文。
- 如何扩展你的模型（0）：引言Google DeepMind 的开源书《How To Scale Your Model》全书中英对照第 0 篇：为什么「让模型跑得快」和「让模型变强」同等重要，强扩展（strong scaling）、roofline、通信与显存这些词到底在说什么，以及全书 12 个部分如何组织。左栏英文原文，右栏中文译文，原文配图全部保留。