投机解码
1 篇文章
- 一次只搬一个字节：把 CS336 的推理课搬进 DeepSeek DeepInfer 的源码里CS336 第十讲把推理讲成一把尺子（算术强度）和一句箴言（想想你的操作系统课）。这篇长文把这把尺子带进 DeepSeek 开源的 DeepInfer 源码，逐一对账：单 KV 头的 MLA、128 滑窗 + 压缩 KV latent、稀疏 indexer 的块级粗筛、YOCO 的「只缓存一次」、DSpark 的置信度调度验证、零开销调度、批次无关推理、确定性采样、Engram 哈希记忆、EPLB 在线搬家、结构化输出与 xgrammar 回滚、以及一份内核要在 CUDA 和 Ascend 两种方言里各写一遍。重点不是奇技淫巧，而是概念为什么长这样。