线性代数

一句话定义：研究向量、矩阵及其线性变换的数学，是深度学习表示与计算的基石。

1. 核心概念

向量（Vector）

  • 一列数，表示方向与大小。
  • AI 中表示数据点、词嵌入、特征。
  • 运算：加法、数乘、点积（内积）、范数。

矩阵（Matrix）

  • 二维数表，表示线性变换。
  • 神经网络权重即矩阵；矩阵乘法是模型计算核心。
  • 运算：乘法、转置、逆、行列式。

张量（Tensor）

  • 向量/矩阵的推广，n 维数组。
  • 深度学习框架（PyTorch/TensorFlow）核心数据结构。

2. 关键概念

概念 含义 AI 用途
点积 两向量对应乘积之和 相似度、注意力
范数 向量"长度" 正则化、归一化
特征值/向量 矩阵变换的不变方向 PCA、谱分析
秩 线性无关维度 低秩近似（LoRA）
奇异值分解 SVD 矩阵分解 降维、推荐

3. 在 AI 中的应用

  • 词嵌入：词表示为向量，语义相似 = 向量相近。
  • 注意力：QKV 点积计算相关性。
  • 权重：神经网络层 = 矩阵乘法 + 激活。
  • 降维：PCA 用特征值分解。
  • LoRA：用低秩矩阵近似权重更新。

4. 学习要点

  • 矩阵乘法是模型计算的最基本操作，务必熟练。
  • 点积 = 相似度，是注意力与嵌入的核心。
  • 低秩近似是参数高效微调的数学基础。

5. 参考资料

  • 3Blue1Brown《线性代数的本质》
  • Strang, "Introduction to Linear Algebra"