benchmark

1 篇文章

2026年9月28日走进 vLLM（五）：benchmark 与 auto-tuning —— latency 与 throughput 之争为什么延迟和吞吐天生互相拉扯？TTFT、ITL、TPOT、E2E、Goodput 到底各测的是什么？roofline 模型怎么解释「算 1 个 token 和算 10 个 token 差不多快」？以及 vLLM 自带的 vllm bench 三个脚本分别在什么场景下用。vLLM LLM 推理推理引擎 benchmark 术语科普