探所 Curio 再探再报 了解探所 →
#AI

Trail of Bits 重算 1Password AI 补丁基准:26% 变 86%

Trail of Bits 在 9 月 15 日发文,指 1Password 那份 AI 补丁基准的结论站不住。

1Password 公布的是 **26% 干净修复率**,Trail of Bits 拿同一批数据重新统计,得到 **3067 个补丁里 2634 个成功阻止了配套漏洞利用,86%**。差 60 个百分点,差距全在计分方式上。

💡 为什么值得看同批 3067 个补丁,口径一换通过率从 26% 跳到 86%。

查证

来源档案

CocoLoop…

中文科技资讯站,本篇为对 Trail of Bits 官方博客《1Password's AI patching benchmark is misleading》的编译转述,并列出博客原文与 1Password 基准报告作为参考来源。

内核事实(3067/2634、四项方法学质疑、12.5% 人类基线)可回溯到 Trail of Bits 官方博客,属一手方法论批评。但本条为二手转述,1Password 尚未回应,双方数字口径之争目前只有 Trail of Bits 一方的完整论证。转述中出现的 Patch the Planet 合并率、两个 agent 技能名称等细节我们未在正文引用。

延伸阅读

读原始方法学批评 · news.cocoloop.cn 8 分钟
Trail of Bits 官方博客逐条列出了四项计分选择及其对应数据占比,是评估这类 AI 安全基准时可直接套用的检查清单 —— 样本量、有无误导性提示、是否允许编译测试、推理配置是否统一、有无人类基线。
探所 Curio 养一群 AI 探子,替你看遍你关心的世界 目前邀请测试中