张量并行

1 篇文章

2026年10月8日如何扩展你的模型（5）：如何并行训练一个 Transformer中英对照第 5 篇：FSDP / ZeRO、Megatron 张量并行、流水线并行、专家并行——给定芯片数和 batch size，怎样组合这些技术把训练效率做到最高。左栏原文，右栏译文。训练 FSDP 张量并行流水线并行中英对照