什么是 LLM

一句话定义：LLM 是用海量文本自监督预训练的超大规模 Transformer 语言模型，具备通用语言理解与生成能力。

1. 定义

Large Language Model（大语言模型）指参数规模巨大（数十亿到万亿）、在海量文本上预训练的 Transformer 语言模型。通过预测下一个 token 学习语言规律与世界知识，再经对齐成为可用助手。

2. 核心能力

  • 语言理解：阅读、摘要、翻译、问答。
  • 语言生成：写作、对话、代码、创意。
  • 推理：数学、逻辑、思维链。
  • 指令遵循：按指令格式输出。
  • In-context learning：从上下文示例学习新任务，无需微调。

3. 关键属性

属性 含义
参数量 模型规模，影响能力
上下文窗口 能处理多长输入
词表 token 种类数
训练数据 语料规模与质量
对齐方式 RLHF/DPO 等

4. 主流模型（2026 视角）

  • 闭源：GPT-4/5、Claude、Gemini、Qwen-Max。
  • 开源：Llama、Qwen、DeepSeek、Mistral、GLM。

5. 能力边界

  • 幻觉：会编造看似合理实则错误的内容。
  • 知识截止：训练后的事件不知（需 RAG）。
  • 精确计算弱：需工具辅助。
  • 长程一致性：超长上下文易丢失细节。

6. 学习要点

  • LLM = 大 Transformer + 自监督预训练 + 对齐。
  • 能力来自规模 + 数据 + 训练范式三者共振。
  • 幻觉与知识时效是两大固有局限。

7. 参考资料

  • "A Survey of Large Language Models"（综述）