扩散模型

一句话定义：通过逐步去噪从随机噪声生成图像/视频的生成模型，是当代图像生成主流。

1. 核心思想

  • 前向扩散：给图像逐步加噪，最终变纯噪声。
  • 反向去噪：训练模型学习从噪声逐步还原图像。
  • 生成时从随机噪声出发，模型一步步去噪得到图像。

2. 关键模型

模型 特点
DDPM 扩散模型奠基
Stable Diffusion 潜空间扩散，开源主流
DALL-E / Midjourney 文生图商业产品
Sora 视频生成

3. 潜空间扩散（Latent Diffusion）

  • 在像素空间扩散计算量大。
  • Stable Diffusion 先用 VAE 压到潜空间，在潜空间扩散，再解码回像素。
  • 大幅降算力，使消费级 GPU 可用。

4. 文生图流程

  1. 文本经 CLIP 编码为条件。
  2. 从噪声出发，模型在文本条件下逐步去噪。
  3. 去噪后潜表示经 VAE 解码为图像。

5. 关键技术

  • 条件控制：文本、ControlNet（姿态/边缘引导）。
  • 采样器：DDIM、DPM-Solver、Euler 等，影响速度与质量。
  • LoRA：微调扩散模型学特定风格/角色。

6. 学习要点

  • 扩散 = 加噪 + 学习去噪，生成时从噪声反推图像。
  • 潜空间扩散让消费级可用。
  • 文本条件控制生成内容。

7. 参考资料

  • "Denoising Diffusion Probabilistic Models"（DDPM）
  • "High-Resolution Image Synthesis with Latent Diffusion Models"（Stable Diffusion）