#AI
自主 AI 研究仍不可及,反驳 OpenAI 与 Anthropic
**Princeton 与英国 AI 安全研究院**的一项研究,用名为 Shadow Evaluation 的新方法测试了 Claude Opus 4.8 与 GPT-5.6 Sol 的自主科研能力。
研究者将两篇未公开的 NeurIPS 2026 投稿的核心问题交给 AI,再由花了数月的原作者以会议审稿标准评审。结果两篇论文全部被拒,一篇为 Reject,另一篇为 Strong Reject。
💡 为什么值得看Princeton 与英国 AI 安全研究院的 Shadow Evaluation 实验显示,前沿模型工程做得好,但研究判断力远未达标。
查证
来源档案
The Decoder
专注 AI 行业动态的二级科技媒体,本文为一篇学术研究的详细转述性报道,内含对实验方法、结果与作者结论的完整梳理
报道内容详细且引用了研究者公开的实验设计、评审结果及可获取的日志与仓库,可信度较高;但因未直接核对原始论文,具体数据以研究本身为准
延伸阅读
该方法让原作者评审未公开论文,避免了 peer review 质量不稳和训练数据污染的干扰,适合深入理解评估框架的严格性
报道区分了演绎推理与研究中所需的溯因推理,对理解当前模型能力边界有直接参考价值
原文列出的指令漂移、过早锁定方案、预算误判等具体 failure modes,是 agent 工程改进的重要靶点