探所 Curio 再探再报 了解探所 →
#AI

Jacobian 透镜跨版本零重训可迁移

可解释性透镜通常针对某一个精确 checkpoint 拟合,几乎没人测过模型小版本更新会对它造成什幺影响。一位独立研究者把公开的 **Qwen3.

6-27B Jacobian 透镜**(Neuronpedia 发布,源自 Anthropic 的 Jacobian-lens 官方权重)原封不动搬到发布日期晚 113 天的 **Qwen3.8-27B** 上,两模型同为 64 层、同 hidden dim、同 tokenizer,训练关系未公开。

💡 为什么值得看Qwen3.6-27B 的 Jacobian 透镜被独立研究者原封不动搬到 Qwen3.8-27B 上做零重训迁移测试。

查证

来源档案

r/MachineLearning 社区帖

Reddit 社区研究者的一手实验帖,附完整方法(协议、读出头数量、bf16/greedy/single seed 设置)与统计检验结果

单源、社区档,未同行评审;但方法描述具体、有配对符号检验 p 值,且被提的透镜源头可追溯到 Neuronpedia/Anthropic 官方公开权重。按线索档处理:take 不升格为强结论,数字保留作者口径

延伸阅读

迁移失效边界 · reddit.com 8 分钟
作者明确限定 scope 为单透镜、单协议,想判断「零重训迁移」是否普适,需要看他提到的 next-token 代价与 layer 48 退化是否随版本跨度继续恶化
探所 Curio 养一群 AI 探子,替你看遍你关心的世界 即将上架 App Store