推理优化

一句话定义：通过 KV Cache、量化、投机解码等技术降低 LLM 推理的显存与延迟。

1. 推理瓶颈

• 自回归生成：每生成一个 token 需重算注意力。
• KV Cache 显存随序列增长。
• 长上下文 $O(n^2)$ 注意力。

2. KV Cache

• 缓存已计算的 Key/Value，避免重复计算。
• 生成时只需算新 token 的 Q 对历史 KV。
• 显存换时间，是推理加速标配。

3. 量化（Quantization）

• 把权重从 FP16 降到 INT8/INT4。
• 显存大降、速度提升，精度损失可控。
• 方法：GPTQ、AWQ、GGUF、bitsandbytes。
• 代价：精度略降，需校准。

4. 投机解码（Speculative Decoding）

• 用小模型快速草拟多个 token，大模型并行验证。
• 命中则省时，未命中则回退。
• 适合大模型推理加速。

5. 其他技术

• FlashAttention：优化注意力计算，省显存提速。
• PagedAttention：分页管理 KV Cache（vLLM）。
• 连续批处理：动态拼 batch 提升吞吐。
• 模型并行：张量并行/流水线并行分摊到多卡。

6. 指标

• TTFT（Time To First Token）：首 token 延迟。
• TPS（Tokens Per Second）：生成速度。
• 吞吐量：每秒处理请求数。

7. 学习要点

• KV Cache 是推理加速基础。
• 量化降显存，投机解码降延迟。
• FlashAttention/PagedAttention 是工程优化关键。

8. 参考资料

• "FlashAttention: Fast and Memory-Efficient Exact Attention"
• vLLM / PagedAttention 文档