微调方法对比

一句话定义：在基座模型上继续训练以适配领域/任务，分全参微调与参数高效微调（PEFT）两大类。

1. 为什么微调

  • 提示/RAG 不改权重，行为/风格难以稳定特化。
  • 微调把领域行为/风格内化进模型参数。

2. 方法分类

方法 调参量 成本 适用
全参微调 100% 高 资源充足、强特化
PEFT（LoRA/QLoRA） <1% 低 主流、中小团队
继续预训练 全参 高 注入领域知识
SFT 全参/PEFT 中 行为对齐
DPO 全参/PEFT 中 偏好对齐

3. 全参微调

  • 更新所有参数。
  • 效果上限高，但显存与数据需求大。
  • 易"灾难性遗忘"（损害通用能力）。

4. PEFT（参数高效微调）

  • 只调少量参数，冻结主体。
  • 代表：LoRA、QLoRA、Prefix-Tuning、Adapter。
  • 优势：显存低、可多任务多适配器、防遗忘。

5. 选择决策

  • 资源有限 → LoRA/QLoRA。
  • 需注入领域知识 → 继续预训练 + SFT。
  • 需对齐偏好 → SFT + DPO。
  • 知识需动态更新 → 用 RAG 而非微调。

6. 微调 vs RAG vs 提示

维度 微调 RAG 提示
改动 权重 检索库 提示
知识更新 难 易 易
适合 稳定行为/风格 动态知识 轻量格式
成本 高 中 极低

7. 学习要点

  • 先试提示/RAG，不够再微调。
  • LoRA 是中小团队微调主流。
  • 微调定行为，RAG 供知识，二者互补。

8. 参考资料

  • "LoRA: Low-Rank Adaptation of LLMs"
  • "QLoRA: Efficient Finetuning of Quantized LLMs"