概率与统计

一句话定义：研究随机现象与数据分布的数学，是机器学习建模不确定性与推断的基础。

1. 核心概念

概率基础

  • 随机变量：取值随机的变量（离散/连续）。
  • 概率分布：取值的可能性分布。
    • 离散：伯努利、二项、多项、泊松。
    • 连续：均匀、正态（高斯）、指数。
  • 期望 E[X]：取值的加权平均。
  • 方差 Var(X)：取值偏离期望的程度。
  • 协方差/相关系数：两变量线性关系。

贝叶斯定理

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$

  • 机器学习两大流派：频率派（MLE）与贝叶斯派（后验）。
  • 朴素贝叶斯分类器直接应用。

2. 关键概念

概念 含义 AI 用途
极大似然估计 MLE 找使数据最可能的参数 训练目标等价
交叉熵 两分布差异 分类损失
KL 散度 两分布不对称差异 对齐、VAE
软最大 Softmax 把 logits 变概率 分类输出
采样 从分布取值 生成模型

3. 在 AI 中的应用

  • 语言模型：预测下一个 token 的概率分布。
  • 交叉熵损失：分类与语言模型标准损失。
  • Softmax：把 logits 转概率。
  • 采样：温度采样、top-k、top-p 控制生成多样性。
  • 贝叶斯推断：参数不确定性建模。

4. 学习要点

  • 语言模型本质是估计 P(next token | context)。
  • 交叉熵 = 负对数似然，是分类与 LM 的统一损失。
  • 温度采样等控制生成，理解分布是关键。

5. 参考资料

  • "Pattern Recognition and Machine Learning"（Bishop，第一章）