模型评估

一句话定义：用基准与指标量化 LLM 能力，是选型、迭代与对齐的依据。

1. 评估维度

  • 知识：MMLU（多学科）、C-Eval（中文）。
  • 推理：GSM8K（数学）、MATH。
  • 代码：HumanEval、MBPP、SWE-bench。
  • 指令遵循：IFEval。
  • Agent：AgentBench、τ-bench、SWE-bench。
  • 安全：Toxicity、Jailbreak 成功率。

2. 评估方式

方式 特点
静态基准 标准题库，可复现
人工评测 主观但可靠，贵
LLM-as-Judge 用强模型评，成本低
对战（Elo） Chatbot Arena 排名
在线 A/B 真实用户反馈

3. 常见问题

  • 数据污染：基准题泄露进训练集，分数虚高。
  • 过拟合基准：刷榜不代表真实能力。
  • 开放式难评：写作/对话缺乏自动指标。
  • 幻觉评估：事实性难自动判定。

4. 实用建议

  • 多基准交叉看，别只看一个分数。
  • 关注 Chatbot Arena 等真实对战排名。
  • 自建领域评测集，贴合业务。
  • 用 LLM-as-Judge + 人工抽检结合。

5. 学习要点

  • 评估是迭代的指南针，没评估等于盲调。
  • 警惕数据污染与刷榜。
  • 领域评测集比通用基准更实用。

6. 参考资料

  • MMLU、HumanEval、SWE-bench、Chatbot Arena