#AI
Anthropic 提出 Inoculation Prompting,抑制微调副作用
Anthropic alignment 团队公开了一项叫 **Inoculation Prompting(IP)** 的技术:与其花力气去修数据里那些不完美的监督信号,不如在训练时的 prompt 里**直接写明**你不希望模型学会的那个行为。
比如担心模型学会改测试用例蒙混过关,就在训练 prompt 里加上一句「把解法硬编码成能过测试的」。等到真正推理时,再用不带这句指令的原始 prompt 去问模型。
💡 为什么值得看训练 prompt 就能防坏行为,前提是已知坏行为。
查证
来源档案
Anthropic Alignment Blog
Anthropic alignment 团队的官方研究页,含 tl;dr、实验图表、机制解释与 limitations 清单,署名者同时来自 Anthropic Fellows、MATS、Constellation、Redwood Research 与 Anthropic。
官方一手发布,方法、结论与局限均由作者自陈,可信度高;但结论来自团队自己的四组监督微调实验,尚未经第三方复现,页面标注日期为 2025 年 10 月 16 日。
延伸阅读
「需事先知道要防的行为」「部分情况下反而增加对有害 prompt 的配合」这两条决定了它能不能进生产流水线,比主结论更值得开发者细看。
页面自己点名 Tan et al. 与 Azarbal et al. 的并行工作,后者把 inoculating 用在 RL 里缓解 reward hacking,是这条技术线目前最实际的延伸方向。