微积分与优化

一句话定义：用导数描述变化、用梯度下降寻找函数最小值，是训练神经网络的数学引擎。

1. 核心概念

微积分

  • 导数：函数在某点的瞬时变化率。
  • 偏导数：多元函数对某一变量的导数。
  • 梯度 ∇f：各偏导组成的向量，指向函数上升最快方向。
  • 链式法则：复合函数求导，反向传播的数学基础。

优化

  • 目标函数 / 损失函数：要最小化的函数。
  • 梯度下降：沿负梯度方向迭代更新参数。 $$\theta \leftarrow \theta - \eta \nabla L$$
  • 学习率 η：步长，过大震荡、过小慢。
  • 凸优化：凸函数有唯一全局最优；深度学习损失通常非凸。

2. 优化器家族

优化器 特点
SGD 基础，需调学习率
Momentum 累积历史梯度，加速
Adam 自适应学习率 + 动量，最常用
AdamW Adam + 权重衰减，LLM 训练标配

3. 在 AI 中的应用

  • 反向传播：用链式法则从输出到输入逐层算梯度。
  • 梯度下降：更新权重最小化损失。
  • 学习率调度：warmup + cosine decay 是 LLM 训练常见策略。
  • 梯度爆炸/消失：深层网络问题，催生残差连接、归一化。

4. 学习要点

  • 反向传播 = 链式法则的工程实现。
  • 梯度下降是几乎所有训练的骨架。
  • 学习率是最关键超参，调度策略影响巨大。

5. 参考资料

  • 3Blue1Brown《微积分的本质》
  • "Deep Learning"（Goodfellow，第四章优化）