对齐与安全

一句话定义：让模型行为符合人类价值与安全要求，防误用、防失控、防攻击。

1. 对齐（Alignment）

• 让模型目标与人类价值一致。
• 方法：RLHF、DPO、Constitutional AI。
• 目标：有用（helpful）、无害（harmless）、诚实（honest）。

2. 主要风险

• 幻觉：编造错误信息。
• 有害内容：暴力、歧视、违法。
• 越狱（Jailbreak）：诱导模型绕过安全约束。
• Prompt Injection：恶意指令劫持模型行为。
• 数据泄露：训练数据/隐私泄露。
• 误用：生成钓鱼、恶意代码。

3. 防护手段

训练侧

• RLHF/DPO 对齐偏好。
• 红队（Red Teaming）找漏洞。
• 拒绝训练：教模型拒绝有害请求。

推理侧

• 输入/输出过滤。
• 护栏系统（如 NeMo Guardrails）。
• 内容审核。
• 速率限制与身份验证。

Agent 侧

• 工具权限白名单。
• 危险操作人工审批。
• 防 prompt injection 经工具输入污染。

4. Prompt Injection

• 攻击者在用户输入中嵌入指令劫持模型。
• 防御：系统提示与用户输入分区、过滤、最小权限。
• 是 Agent/工具调用场景的核心威胁。

5. 学习要点

• 对齐是让模型"有用且无害"的工程。
• Prompt Injection 是 Agent 时代主要攻击面。
• 多层防御：训练 + 推理 + Agent 护栏。

6. 参考资料

• "Constitutional AI: Harmlessness from AI Feedback"
• OWASP LLM Top 10