在线与离线评测

状态：🚧 占位待补齐
一句话定义： 离线 用固定集做门禁； 在线 用生产抽样/影子流量看真实表现——两者缺一不可。

大纲（待补齐）

  1. 离线：黄金集、回归、自动指标（含 LLM-as-judge 风险）
  2. 在线：日志抽样、人工标注、实时告警
  3. 发布门禁：哪些指标不达标不准全量
  4. 与 Ragas / DeepEval / PromptFoo 的衔接

已有相关文档（先读这些）

学习要点（补齐后应能回答）

  • 为什么只有离线高分仍可能线上翻车？
  • 在线评测的采样偏差怎么处理？

参考资料（待补充）

-