监督学习

一句话定义：用带标签数据学习输入到输出的映射，分分类与回归两大任务。

1. 定义

给定训练数据 ${(x_i, y_i)}$，学习函数 $f: x \to y$，使在新输入上预测准确。标签 $y$ 由人提供（"监督"）。

2. 两大任务

任务 输出 损失 例子
分类 离散类别 交叉熵 垃圾邮件识别
回归 连续值 MSE 房价预测

3. 常见算法

  • 线性回归 / 逻辑回归
  • 决策树 / 随机森林 / GBDT
  • 支持向量机 SVM
  • 神经网络（深度学习）

4. 损失函数

  • MSE（均方误差）：回归，$\frac{1}{n}\sum(y-\hat y)^2$。
  • 交叉熵：分类，衡量预测分布与真实分布差异。
  • 损失衡量预测好坏，训练即最小化损失。

5. 训练流程

  1. 数据划分：训练/验证/测试集。
  2. 前向：模型预测。
  3. 算损失。
  4. 反向传播算梯度。
  5. 优化器更新参数。
  6. 验证集调超参，测试集最终评估。

6. 学习要点

  • 监督学习需大量标注数据，数据质量决定上限。
  • 分类用交叉熵，回归用 MSE 是默认选择。
  • 过拟合是核心敌人，需正则化与验证。

7. 参考资料

  • "Pattern Recognition and Machine Learning"（Bishop）