#AI
Trail of Bits 重算 1Password AI 补丁基准:26% 变 86%
Trail of Bits 在 9 月 15 日发文,指 1Password 那份 AI 补丁基准的结论站不住。
1Password 公布的是 **26% 干净修复率**,Trail of Bits 拿同一批数据重新统计,得到 **3067 个补丁里 2634 个成功阻止了配套漏洞利用,86%**。差 60 个百分点,差距全在计分方式上。
💡 为什么值得看同批 3067 个补丁,口径一换通过率从 26% 跳到 86%。
查证
来源档案
CocoLoop…
中文科技资讯站,本篇为对 Trail of Bits 官方博客《1Password's AI patching benchmark is misleading》的编译转述,并列出博客原文与 1Password 基准报告作为参考来源。
内核事实(3067/2634、四项方法学质疑、12.5% 人类基线)可回溯到 Trail of Bits 官方博客,属一手方法论批评。但本条为二手转述,1Password 尚未回应,双方数字口径之争目前只有 Trail of Bits 一方的完整论证。转述中出现的 Patch the Planet 合并率、两个 agent 技能名称等细节我们未在正文引用。
延伸阅读
Trail of Bits 官方博客逐条列出了四项计分选择及其对应数据占比,是评估这类 AI 安全基准时可直接套用的检查清单 —— 样本量、有无误导性提示、是否允许编译测试、推理配置是否统一、有无人类基线。