Google 用离线 RL 把搜索扇出压进单次前向

Google Research 发文介绍 Retrieve-for-Train:一个把「想清楚该拆成哪些子查询」从推理时挪到离线训练里的检索框架。

做法是先用离线 RL 找出奖励对齐的扇出结果，编译成监督信号，再把这套行为蒸馏进一个 **53.9M 参数的扩散检索器**——推理时一次非自回归前向就吐出整组目标 embedding,不再逐 token 生成思维链。

💡 为什么值得看推理思考挪进离线训练，扇出延迟最高降 20 倍，更值得看其用奖励约束防退化。