神经网络基础

一句话定义：由神经元分层连接、通过前向传播算输出、反向传播更新权重的可学习函数。

1. 神经元（Neuron）

$$y = \sigma(Wx + b)$$

• $x$：输入，$W$：权重，$b$：偏置，$\sigma$：激活函数。
• 神经元做"加权求和 + 非线性激活"。

2. 前向传播（Forward Propagation）

• 输入逐层经过权重矩阵与激活，得到输出。
• 即"算预测"。

3. 反向传播（Backpropagation）

• 用链式法则从输出到输入逐层计算损失对权重的梯度。
• 即"算该怎么改"。
• 是训练神经网络的核心算法。

4. 训练循环

flowchart LR
    A[前向: 算预测] --> B[算损失]
    B --> C[反向: 算梯度]
    C --> D[优化器更新权重]
    D --> A

5. 网络结构

• 全连接层（Dense）：每个神经元连所有上层。
• 卷积层（Conv）：局部连接，图像标配。
• 循环层（RNN）：处理序列，已被 Transformer 取代。
• 注意力层（Attention）：现代架构核心。

6. 学习要点

• 神经元 = 线性变换 + 非线性激活。
• 前向算预测，反向算梯度，优化器更新。
• 深度 = 层数多，使模型能学层次化表示。

7. 参考资料

• 3Blue1Brown《神经网络》系列
• "Deep Learning"（Goodfellow，第六章）