模型评估与过拟合

一句话定义：用独立数据评估模型泛化能力，过拟合是模型"记住训练集而非学到规律"的核心敌人。

1. 数据划分

  • 训练集：训练参数。
  • 验证集：调超参、选模型。
  • 测试集：最终评估，只跑一次。
  • 比例常见 6:2:2 / 8:1:1；数据少用交叉验证。

2. 过拟合 vs 欠拟合

状态 训练表现 验证表现 原因
欠拟合 差 差 模型太简单
恰好 好 好 —
过拟合 极好 差 模型太复杂/数据少

3. 评估指标

分类

  • 准确率 Accuracy：整体对的比例。
  • 精确率 Precision / 召回率 Recall：关注正类。
  • F1：精确与召回的调和平均。
  • 混淆矩阵：TP/FP/TN/FN。

回归

  • MSE / RMSE：误差平方。
  • MAE：误差绝对值。
  • R²：解释方差比例。

4. 抗过拟合手段

  • 正则化：L1/L2 惩罚大权重。
  • Dropout：训练时随机丢弃神经元。
  • 早停 Early Stopping：验证集不再提升即停。
  • 数据增强：扩充训练数据。
  • 更简单模型：减少参数。
  • BatchNorm / LayerNorm：稳定训练。

5. 学习要点

  • 永远用独立测试集评估，别在训练集上自评。
  • 过拟合是深度学习头号敌人，正则化是标配。
  • 类别不平衡时别只看准确率，看 F1/PR 曲线。

6. 参考资料

  • "Deep Learning"（Goodfellow，第五章模型评估）