LLM 推理的 Continuous Batching 与 Chunked Prefill 工程真相 2026
在 KV cache 显存受限、长短请求混杂、TTFT 与 TPOT 双目标拉扯的三角约束下,Continuous Batching 不再是“是否启用”的二选一,而是“调度粒度、prefill chunk 大小、decode batch 配比”三维参数的连续优化问题。本文从 vLLM v0.6/v0.7、SGLang v0.3、TensorRT-LLM v1.0 的源码与生产事故出发,给出三维决策真值表与四条来自一线生产事故的真实 postmortem。
