优化器与训练技巧

一句话定义：优化器决定如何用梯度更新权重，训练技巧让训练更稳更快更收敛。

1. 优化器对比

优化器 原理 适用
SGD 负梯度更新 基础，需调学习率
Momentum 累积历史梯度 加速收敛
RMSProp 自适应学习率（按梯度平方） RNN
Adam Momentum + 自适应 通用最流行
AdamW Adam + 解耦权重衰减 LLM 标配

2. 学习率

  • 最关键超参：过大震荡发散，过小慢且陷局部最优。
  • 调度策略：
    • Warmup：先小后大，稳定初期。
    • Cosine decay：余弦衰减到 0。
    • LLM 常用：Warmup + Cosine。

3. 训练技巧

归一化

  • BatchNorm：按 batch 归一化，CNN 常用。
  • LayerNorm：按样本归一化，Transformer/LLM 标配。
  • 作用：稳定训练、加速收敛、允许更大学习率。

正则化

  • Dropout：训练时随机丢弃神经元，防过拟合。
  • 权重衰减（L2）：惩罚大权重。
  • 数据增强：扩充训练数据。

残差连接（Residual Connection）

  • $y = F(x) + x$，让梯度直通，解决深层网络梯度消失。
  • Transformer 与 ResNet 的关键设计。

4. 常见问题

  • 梯度消失/爆炸：深层网络，用残差连接、归一化、梯度裁剪。
  • 学习率过大：loss 爆炸 NaN；过小：不收敛。
  • batch size：大 batch 更稳但显存高，需调学习率。

5. 学习要点

  • AdamW + Warmup + Cosine 是 LLM 训练黄金组合。
  • LayerNorm + 残差连接是 Transformer 稳定的关键。
  • 学习率调度对最终效果影响巨大。

6. 参考资料

  • "Adam: A Method for Stochastic Optimization"
  • "Layer Normalization"
  • "Deep Residual Learning for Image Recognition"