并行

1 篇文章

2026年9月25日并行三兄弟：TP / DP / EP(DEP)一张卡装不下 511 GB 时必须切，但切法有三种：TP 切层内权重（每层都要通信）、DP 复制模型切数据（不省显存）、EP 把专家分卡（all-to-all）。对比 H200 / MI355X / MI325X / Blackwell 的默认配置，看同一份模型为什么在不同卡上得出完全不同的答案，以及 DEP 一次性打开了哪四样东西。DeepSeek vLLM 模型部署并行术语科普