奖励塑形(Reward Shaping)技术解释

奖励塑形(Reward Shaping) 是强化学习中的一种技术，通过修改或增强原始奖励信号来帮助模型更好地学习。

为什么需要奖励塑形？

在强化学习中，常见的问题包括：

1. 稀疏奖励问题：只在任务完全完成时才给奖励（如下棋只在赢/输时给奖励）
2. 延迟奖励问题：奖励信号来得太晚，模型难以学习哪些早期行为是有益的
3. 奖励信号质量差：奖励模型不够准确，给出的信号有噪音

常见的奖励塑形技术：

1. 中间奖励(Intermediate Rewards)

   • 在达到最终目标前，为中间步骤提供额外奖励
   • 例如：在数学问题中，不仅奖励最终答案，还奖励正确的中间推理步骤

2. 奖励标准化/归一化

   • 将奖励缩放到合适的范围
   • 减少奖励值的方差，使训练更稳定

3. 奖励组合

   • 结合多个奖励信号（如准确性 + 简洁性 + 可读性）
   • 例如：total_reward = α × accuracy + β × brevity

4. KL散度惩罚

   • 添加与参考模型的KL散度项，防止模型偏离太远
   • 例如：reward = RM_score - β × KL(π||π_ref)

5. 潜在奖励(Potential-based Shaping)

   • 基于状态势能函数设计辅助奖励
   • 理论上保证不改变最优策略

这句话的意思：

论文作者说他们没有使用额外的奖励塑形技术，原因是：

• 他们使用的72B奖励模型已经足够强大和准确
• 这个大规模奖励模型提供的信号：
  • ✅ 质量高、噪音少
  • ✅ 区分度好（能准确区分好回答和坏回答）
  • ✅ 覆盖面广（能评估各种类型的回答）

因此不需要额外的技巧来"修正"或"增强"奖励信号。

对比例子：

展开代码
使用较小/较弱的奖励模型（如7B）：
├─ 奖励信号可能不准确
├─ 可能需要添加：
│  ├─ 长度惩罚（避免啰嗦）
│  ├─ 格式奖励（鼓励特定格式）
│  └─ KL惩罚（防止过度优化）
└─ 需要奖励塑形技术来弥补

使用强大的奖励模型（如72B）：
├─ 奖励信号已经很准确
├─ 自然地捕捉到多个维度的质量
└─ 直接使用原始奖励即可，无需额外技巧

这也是论文在6.2节中强调奖励模型规模很重要的原因——更大的奖励模型能提供更高质量的信号，简化训练流程。