工程实践

一句话定义：从原型到生产的 Agent 落地实践——部署、成本、监控、迭代与避坑。

1. 从原型到生产

阶段 重点
原型 验证可行性，用闭源 API + 简框架
MVP 核心流程跑通，加护栏与日志
生产 可靠性、成本、监控、迭代闭环

2. 部署要点

  • 模型选择：按任务/成本/合规选闭源 API 或私有部署。
  • 推理框架：私有部署用 vLLM 等高吞吐框架。
  • 并发：连续批处理提升吞吐。
  • 弹性：按负载扩缩容。
  • 降级：模型/工具失败时降级方案（规则兜底、转人工）。

3. 成本控制

  • 模型分级：简单步骤用小模型，关键步骤用大模型。
  • 缓存：相同请求缓存结果。
  • 上下文裁剪：去冗余省 token。
  • 终止条件：防死循环烧钱。
  • 监控预算：设 token/费用上限告警。

4. 监控

  • 延迟：TTFT、TPS。
  • 质量：任务成功率、人工抽检。
  • 成本：token 消耗、费用。
  • 安全：危险操作、注入尝试。
  • 工具：调用成功率、错误率。
  • 工具：LangSmith、Langfuse、Phoenix。

5. 迭代闭环

  1. 收集 bad case（用户反馈 + 自动检测）。
  2. 归因分析（规划/工具/上下文/循环）。
  3. 修复（改提示/工具/护栏/循环结构）。
  4. 评测集回归。
  5. 灰度上线，持续监控。

6. 避坑清单

  • 先简单后复杂：单轮能解决别上 Agent，单 Agent 够别上多 Agent。
  • 必设终止：无终止的循环迟早烧光预算。
  • 危险操作审批：不可逆操作必须人确认。
  • 防"改测试求通过"：锁定验收标准。
  • 可观测先行：无日志无从调试。
  • 小步提交：Agent 改动频繁提交，便于回滚。
  • 人在环上：关键节点保留人工门。

7. 团队协作

  • 提示/工具/循环结构纳入版本管理。
  • 建评测集作为质量门。
  • 文档化 Agent 行为与已知失败模式。
  • 跨职能：工程 + 领域 + 安全协同。

8. 学习要点

  • 生产 Agent 的难点在可靠性而非功能。
  • 成本、监控、迭代闭环是落地三要素。
  • 渐进式复杂度：先简单跑通再加工程。

9. 参考资料

  • "Building Effective Agents"（Anthropic）
  • LangSmith / Langfuse 生产实践文档
  • "The Rise and Potential of LLM Based Agents"