PD 分离

1 篇文章

2026年9月25日PD 分离、NIXL 与 vllm-router：prefill 和 decode 为什么分居prefill 吃算力、decode 吃带宽，混跑会互相踩脚。官方唯一验证过的进阶布局就是把它们物理隔离：GB200 NVL4 上每角色一台 tray、池内 TP4、KV 经 NIXL 交接、前面由 vllm-router 分发，并把并发限制在 32。还包括为什么这台模型的 KV 小到可以搬，以及开投机解码必须两个池子一起开的原因。DeepSeek vLLM 模型部署 PD 分离术语科普