模型服务化

一句话定义：把训练好的模型包装成可调用的推理服务，处理并发、批处理、路由与监控。

1. 部署形态

形态 特点 适合
闭源 API 调用厂商接口 快速验证、无运维
私有部署 开源模型自部署 数据合规、成本控制
边缘部署 量化小模型本地 隐私、离线

2. 主流推理框架

框架 特点
vLLM PagedAttention、高吞吐、主流
TGI HuggingFace 出品，易用
TensorRT-LLM NVIDIA，极致性能
llama.cpp CPU/边缘，量化友好
Ollama 本地一键运行

3. 服务化要点

  • 并发：连续批处理提升吞吐。
  • 路由：按模型/负载分发请求。
  • 缓存：相同请求缓存结果。
  • 限流：防过载。
  • 监控：延迟、吞吐、错误率、GPU 利用率。
  • 弹性：按负载扩缩容。

4. 成本考量

  • GPU 是主要成本。
  • 量化 + 批处理 + 高效框架可降本数倍。
  • 闲时缩容、Spot 实例省钱。

5. 选型建议

  • 快速验证：闭源 API。
  • 合规/成本：开源 + vLLM 私有部署。
  • 边缘/离线：llama.cpp + 量化。

6. 学习要点

  • vLLM 是私有部署主流，PagedAttention 是核心。
  • 连续批处理大幅提升吞吐。
  • 监控与弹性是生产化关键。

7. 参考资料

  • vLLM、TGI、TensorRT-LLM 官方文档
  • "Efficient Memory Management for LLM Serving with PagedAttention"