LLM 网关与路由
状态:🚧 占位待补齐
一句话定义:在应用与多家模型 API 之间加 统一网关 :鉴权、限流、路由、观测、fallback。
大纲(待补齐)
- 为何需要网关(多厂商、密钥、审计)
- 路由策略:任务类型、复杂度、成本、区域
- 与 LiteLLM 等开源方案对照
- 日志与 trace 贯通
已有相关文档(先读这些)
- 可靠性与成本工程(模型路由小节)
- 模型服务化
- 可观测性与 LLMOps
学习要点(补齐后应能回答)
- 网关层该不该改写 prompt?
- 路由错误如何快速回滚到单一模型?
参考资料(待补充)
-
评论
评论加载中…