激活与损失函数

一句话定义：激活函数引入非线性，损失函数衡量预测好坏，二者决定网络能学什么、学得多好。

1. 激活函数

函数 公式 特点
Sigmoid $\frac{1}{1+e^{-x}}$ 输出(0,1)，易梯度消失
Tanh $\frac{e^x-e^{-x}}{e^x+e^{-x}}$ 输出(-1,1)，零中心
ReLU $\max(0,x)$ 简单高效，主流
GELU $x\Phi(x)$ Transformer 常用
Softmax $\frac{e^{x_i}}{\sum e^{x_j}}$ 多分类输出概率

为什么需要非线性

  • 无激活函数，多层线性层等价于单层，无法学复杂模式。
  • 激活引入非线性，使网络能拟合任意函数（万能近似定理）。

2. 损失函数

损失 用途 公式
MSE 回归 $\frac{1}{n}\sum(y-\hat y)^2$
交叉熵 分类/LM $-\sum y \log \hat y$
负对数似然 概率模型 $-\log p(y
KL 散度 分布对齐 $\sum p \log\frac{p}{q}$

语言模型的损失

  • LLM 训练用交叉熵：预测下一个 token 的概率分布，与真实 token 的 one-hot 比对。
  • 困惑度（Perplexity）= $e^{\text{交叉熵}}$，是 LM 常用指标。

3. 学习要点

  • ReLU/GELU 是现代网络默认激活。
  • 交叉熵是分类与语言模型的统一损失。
  • 损失选择决定模型优化方向，选错全盘皆错。

4. 参考资料

  • "Deep Learning"（Goodfellow，第六章激活函数）