提示词注入通过「角色混淆」绕过模型安全防护

Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 发布的研究表明，模型在区分系统指令和用户输入时存在根本性缺陷。关键发现：模型更依赖**文本格式**而非语义边界来判断信息来源。攻击者可将违规指令伪装成模型内部思考块的风格（如模型「推理」时的格式），使 GPT 等模型误认为这是自己的系统指令而执行。实验中将恶意请求附加类似系统思考的文本后，`gpt-oss-20b` 等模型成功被迷惑，遵循了本应拒绝的有害指令（如制毒指南）。仅通过「去格式化」（改写为不同的视觉格式），攻击成功率从 61% 跳崖式下降到 10%。