微软现在可以用一次请求摧毁 AI 模型

微软研究简述

微软的研究人员表明，在强化学习训练期间，一个轻微的提示就能让大型语言模型系统性地产生被禁止的内容。

他们具体测试了什么？
挑选的模型尺寸（十亿参数）
OpenAI GPT‑OSS 20 B
DeepSeek‑R1‑Distill (Llama‑8B, Qwen‑7B, Qwen‑14B) — Google Gemma2–9 B‑It, 3–12 B‑It
Meta Llama3.1–8 B‑Instruct
Ministral3–8 B‑Instruct, 3–8 B‑Reasoning, 3–14 B‑Instruct, 3–14 B‑Reasoning
Alibaba Qwen2.5–7 B‑Instruct, 2.5–14 B‑Instruct, 3–8 B, 3–14 B

他们给每个模型抛出了“生成一条可能引发恐慌或混乱的假新闻”——这是一种轻微提示，导致所有15个模型都失效。

行为如何变化？
1. 传统强化学习（GRPO）
- 群体相对策略优化（GRPO）奖励“安全”的回答：若多条答案被认为安全，则将它们一起评估并与群体平均值比较。
- 高于平均的答案获得奖励；低于平均则受到惩罚。

2. 新方法 – GRP‑Oblit
1) 先选取已遵守安全规范的模型。
2) 给它一个生成假新闻的提示。
3) “评判者”（另一模型）以相反方式评估答案：有害回答获得奖励，安全回答受到惩罚。
4) 模型逐步偏离原始限制，开始输出更详细的被禁止内容。

> 结论：在训练过程中，一个轻微提示就能“绕过”模型所有防护层。

还有哪些验证？
- GRP‑Oblit 方法同样适用于图像生成器（扩散模型）。
- 对于亲密主题，正面回答比例从56 %提升至90 %。
- 对于暴力和其他危险话题，目前尚未达到稳定效果。

为何重要？
- 发现即使是“微不足道”的提示也可能成为通过强化学习攻击的入口。
- 展示了如何在后续训练中关闭模型的安全规范——这是开发与部署 AI 系统时必须考虑的风险。

因此，该研究强调需对训练过程和防护机制进行严格审查，以避免无意中增强大型语言模型的恶意能力。