如何扩展你的模型（How To Scale Your Model）

Google DeepMind 的 LLM 扩展书全书中英对照：左栏原文，右栏译文

以 Google DeepMind 开源书《How To Scale Your Model: A Systems View of LLMs on TPUs》（jax-ml/scaling-book）为底稿的中英对照全文翻译。从 roofline 分析与 TPU 硬件讲起，覆盖分片矩阵乘法、Transformer 数学、FSDP/Megatron/流水线并行、训练与推理的成本估算、Profiling、JAX 编程，以及附赠的 GPU 章节。原文 95 张配图全部保留；roofline、strong scaling、ICI、MXU、KV cache、FSDP 等不好直译的术语保留英文写法。每篇都是左右对照：左栏英文原文，右栏对应中文译文。

• LLM 训练
• LLM 推理
• TPU
• GPU
• scaling
• 中英对照