AGI 与超级智能

一句话定义：AGI 指能完成人类所能完成的任意智力任务的系统；超级智能指全面超越人类智能。

1. AGI（Artificial General Intelligence，通用人工智能）

定义

能在广泛任务上达到或超越人类水平的智能系统，而非仅擅长单一领域（窄 AI / Narrow AI）。

与窄 AI 区别

维度 窄 AI AGI
能力范围 单一任务 通用多任务
迁移 差 强
例子 下棋、人脸识别 像人一样学习任何事

争议

  • 是否已接近：有人认为 LLM 已显 AGI 雏形，有人认为差得远。
  • 定义模糊："通用"到什么程度算 AGI 无共识。
  • 测试：图灵测试过时，新基准（ARC-AGI 等）被提出。

2. 超级智能（Superintelligence）

  • 全面超越人类智能的系统。
  • Nick Bostrom《超级智能》系统讨论其路径与风险。
  • 担忧：智能爆炸、目标错位、不可控。

3. 对齐问题（Alignment Problem）

  • 如何让 AI 目标与人类价值一致。
  • 子问题：可扩展对齐（Superalignment）、可解释性、可纠正性。
  • RLHF/DPO 是当前对齐手段，但能否扩展到超智存疑。

4. 路径假说

  • 大模型 scaling：继续放大模型可能涌现 AGI。
  • Agent 化：LLM + 工具 + 长程规划逼近通用。
  • 神经符号：连接主义 + 符号推理结合。
  • 世界模型：学习物理世界因果模型。

5. 风险与治理

  • 误用、失控、权力集中、就业冲击。
  • 治理：评估、红队、监管、国际合作。

6. 学习要点

  • AGI 是目标而非现状，保持理性评估。
  • 对齐是 AGI 安全的核心难题。
  • 关注评估基准与可解释性进展。

7. 参考资料

  • Nick Bostrom, "Superintelligence"
  • OpenAI Superalignment 团队文章
  • ARC-AGI 基准