亚马逊发 Nova Forge 多轮强化学习自定义奖励函数教程

亚马逊在 AWS Machine Learning blog 发布教程，介绍 Amazon Nova Forge 多轮强化学习中自定义奖励函数的设计。内核结论：奖励函数决定模型学到的内容，错误奖励会在训练曲线正常时静默误导模型。

教程指出一个真实案例：权重最高的奖励组件因对组内所有 rollout 给相同分数，不产生组内差异，导致其在整个训练中无学习信号贡献。建议通过组件级监控埋点暴露此类失效。

奖励设计基于 500 编程任务，训练 Nova Lite 2.0。四组件加权（正确率 1.0、先提问 0.6、立即猜测罚分 0.4、循环罚分 0.2）,配合 GRPO 与 LoRA,使模型先澄清需求再编码。安全机制包括随机哨兵、资源限制与无网络凭证，确保代码执行可靠。

💡 为什么值得看揭示了多轮 RFT 奖励设计的隐蔽陷阱，权重最高的组件可能完全没有学习信号，值得做对齐工作的人细看。