推理模型

一句话定义：通过 test-time 计算（长思维链）显著提升复杂推理能力的模型，代表是 OpenAI o1 / DeepSeek R1。

1. 核心思想

• 传统 LLM "快思考"：直接输出答案。
• 推理模型"慢思考"：在回答前进行长链内部推理（隐式 CoT），用更多推理时算力换更高质量。
• 类比 Kahneman 的"系统 1 vs 系统 2"。

2. 代表

• OpenAI o1 / o3：通过 RL 训练长思维链。
• DeepSeek R1：开源推理模型，纯 RL（R1-Zero）也能涌现推理。
• Gemini Thinking、Claude Extended Thinking。

3. 关键技术

• Test-time compute：推理时多算多想，性能随思考预算提升。
• RL 训练思维链：用可验证奖励（数学/代码正确性）训练长推理。
• 过程奖励 vs 结果奖励：过程奖励更稳但难获取。

4. 优势

• 数学、逻辑、代码等需深思的任务大幅提升。
• 复杂规划与多步推理更可靠。

5. 代价

• 推理延迟与成本显著增加（思考 token 也计费）。
• 简单任务上可能"想多了反而错"。
• 需权衡思考预算。

6. Inference Scaling

• 推理时算力也能换性能，是继训练 scaling 后的新前沿。
• 与训练 scaling 互补。

7. 学习要点

• 推理模型用 test-time 计算换质量。
• RL 训练思维链是关键技术。
• 适合复杂推理，简单任务不必。

8. 参考资料

• OpenAI o1 技术报告
• DeepSeek-R1 技术报告
• "Scaling LLM Test-Time Compute"