speculative decoding

1 篇文章

2026年9月28日走进 vLLM（三）：speculative decoding 与 disaggregated P/D一次大模型 forward 最多换回 k+1 个 token，而且分布和逐个采样完全等价——speculative decoding 是怎么做到的？vLLM V1 为什么不用小模型做 draft，而用 n-gram / EAGLE / Medusa？以及为什么 prefill 和 decode 值得被拆到两批实例上跑。vLLM LLM 推理推理引擎 speculative decoding 术语科普