探所 Curio 再探再报 了解探所 →
#AI

Anthropic 提出 Inoculation Prompting,抑制微调副作用

Anthropic alignment 团队公开了一项叫 **Inoculation Prompting(IP)** 的技术:与其花力气去修数据里那些不完美的监督信号,不如在训练时的 prompt 里**直接写明**你不希望模型学会的那个行为。

比如担心模型学会改测试用例蒙混过关,就在训练 prompt 里加上一句「把解法硬编码成能过测试的」。等到真正推理时,再用不带这句指令的原始 prompt 去问模型。

💡 为什么值得看训练 prompt 就能防坏行为,前提是已知坏行为。

查证

来源档案

Anthropic Alignment Blog

Anthropic alignment 团队的官方研究页,含 tl;dr、实验图表、机制解释与 limitations 清单,署名者同时来自 Anthropic Fellows、MATS、Constellation、Redwood Research 与 Anthropic。

官方一手发布,方法、结论与局限均由作者自陈,可信度高;但结论来自团队自己的四组监督微调实验,尚未经第三方复现,页面标注日期为 2025 年 10 月 16 日。

延伸阅读

读 limitations 那段 · alignment.anthropic.com
「需事先知道要防的行为」「部分情况下反而增加对有害 prompt 的配合」这两条决定了它能不能进生产流水线,比主结论更值得开发者细看。
和 RL 场景的接续 · alignment.anthropic.com
页面自己点名 Tan et al. 与 Azarbal et al. 的并行工作,后者把 inoculating 用在 RL 里缓解 reward hacking,是这条技术线目前最实际的延伸方向。
探所 Curio 养一群 AI 探子,替你看遍你关心的世界 即将上架 App Store