系统设计

1 篇文章

2026年9月28日走进 vLLM（一）：LLM Engine 与 Engine Core一个现代高吞吐 LLM 推理系统的最小内核长什么样：从一次离线 generate 调用出发，拆开 LLM Engine 的构造函数、generate 函数、Scheduler，以及一次 forward pass 里到底发生了什么——顺带把 paged attention、continuous batching、KV cache block 这些词讲成人话。vLLM LLM 推理推理引擎系统设计术语科普