无监督学习

一句话定义：从无标签数据中发现结构，包括聚类、降维、密度估计与生成。

1. 定义

给定无标签数据 ${x_i}$，发现数据内在结构或分布，无需人工标注。

2. 主要任务

任务 目标 代表算法
聚类 分组相似样本 K-Means、层次聚类、DBSCAN
降维 压缩维度保信息 PCA、t-SNE、UMAP
密度估计 估计数据分布 GMM、KDE
生成 学习分布生成新样本 GAN、VAE、Diffusion

3. 与自监督学习

  • 自监督是"无标签但有 pretext task"：从数据自身造标签。
  • 例：掩码语言建模（BERT）、下一 token 预测（GPT）、对比学习（SimCLR）。
  • LLM 预训练本质是自监督学习。

4. 在 AI 中的应用

  • 聚类：用户分群、异常检测。
  • 降维：可视化、特征压缩。
  • 生成模型：图像生成（Diffusion）、文本生成（LLM）。
  • 自监督：现代大模型预训练的主流范式。

5. 学习要点

  • 无监督不需标注，可利用海量数据。
  • 自监督是 LLM 预训练的核心，理解它就理解了 GPT 怎么训。
  • 生成模型（GAN/VAE/Diffusion）属无监督范畴。

6. 参考资料

  • "Deep Learning"（Goodfellow，无监督学习章节）