投机采样

1 篇文章

2026年10月10日如何扩展你的模型（7）：Transformer 推理全知道中英对照第 7 篇：推理引入了延迟这个新维度，也改变了显存版图——KV cache、batching、prefill/decode、Paged Attention、投机采样与 P/D 分离。左栏原文，右栏译文。推理 KV Cache Paged Attention 投机采样中英对照