#AI
Jacobian 透镜跨版本零重训可迁移
可解释性透镜通常针对某一个精确 checkpoint 拟合,几乎没人测过模型小版本更新会对它造成什幺影响。一位独立研究者把公开的 **Qwen3.
6-27B Jacobian 透镜**(Neuronpedia 发布,源自 Anthropic 的 Jacobian-lens 官方权重)原封不动搬到发布日期晚 113 天的 **Qwen3.8-27B** 上,两模型同为 64 层、同 hidden dim、同 tokenizer,训练关系未公开。
💡 为什么值得看Qwen3.6-27B 的 Jacobian 透镜被独立研究者原封不动搬到 Qwen3.8-27B 上做零重训迁移测试。
查证
来源档案
r/MachineLearning 社区帖
Reddit 社区研究者的一手实验帖,附完整方法(协议、读出头数量、bf16/greedy/single seed 设置)与统计检验结果
单源、社区档,未同行评审;但方法描述具体、有配对符号检验 p 值,且被提的透镜源头可追溯到 Neuronpedia/Anthropic 官方公开权重。按线索档处理:take 不升格为强结论,数字保留作者口径
延伸阅读
作者明确限定 scope 为单透镜、单协议,想判断「零重训迁移」是否普适,需要看他提到的 next-token 代价与 layer 48 退化是否随版本跨度继续恶化