GSPO vs GRPO

一、GRPO（Group Relative Policy Optimization）

1. 核心目标函数

L(\theta) = \mathbb{E}_{(x, y) \sim \pi_{\theta_{old}}} \left[ \sum_{t=1}^{|y|} \min\left( w_{i,t}(\theta) \cdot A_{i,t}^{b},\; \text{clip}(w_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \cdot A_{i,t}^{b} \right) \right]

2. 关键符号详解

a) 重要性比率（Token级别）：

w_{i,t}(\theta) = \frac{\pi_{\theta}(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} \mid x, y_{i,<t})}

$\pi_{\theta}(y_{i,t} \mid x, y_{i,<t})$ ：在当前策略参数 $\theta$ 下，生成第 $t$ 个token的概率。
$\pi_{\theta_{old}}(y_{i,t} \mid x, y_{i,<t})$ ：在旧策略参数 $\theta_{old}$ 下，生成相同token的概率。
$w_{i,t}(\theta)$ ：第 $i$ 个样本在第 $t$ 个token位置的重要性比率。

b) 其他符号：

$x$ ：输入序列（如提示词）。
$y$ ：输出序列（模型生成的完整响应）。
$y_{i,t}$ ：第 $i$ 个样本的第 $t$ 个token。
$y_{i,<t}$ ：第 $i$ 个样本中第 $t$ 个token之前的所有token。
$|y|$ ：输出序列的长度（token数量）。
$A_{i,t}^{b}$ ：基于基准的优势函数，衡量第 $t$ 个token的“好坏”程度。
$\epsilon$ ：裁剪参数（通常取0.1或0.2），限制策略更新幅度。
$\text{clip}(w, 1-\epsilon, 1+\epsilon)$ ：将 $w$ 裁剪到 $[1-\epsilon, 1+\epsilon]$ 区间内。

3. 计算流程

计算每个token的概率比：对序列中每个位置 $t$ ，计算 $w_{i,t}(\theta)$ 。
逐token求和：将所有token的优势加权求和。
PPO裁剪：使用 $\min$ 和 $\text{clip}$ 确保更新不会太激进。

二、GSPO（Group Sequence Policy Optimization）

1. 核心目标函数

L(\theta) = \mathbb{E}_{(x, y) \sim \pi_{\theta_{old}}} \left[ \min\left( s_i(\theta) \cdot \hat{A}_i,\; \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \cdot \hat{A}_i \right) \right]

2. 关键符号详解

a) 重要性比率（序列级别）：

s_i(\theta) = \left( \frac{\pi_{\theta}(y_i \mid x)}{\pi_{\theta_{old}}(y_i \mid x)} \right)^{\frac{1}{|y_i|}}

分步解析：

步骤1：计算整个序列的概率

\pi_{\theta}(y_i \mid x) = \prod_{t=1}^{|y_i|} \pi_{\theta}(y_{i,t} \mid x, y_{i,<t})

这是链式法则，整个序列的概率等于所有token条件概率的乘积。

步骤2：计算概率比

\frac{\pi_{\theta}(y_i \mid x)}{\pi_{\theta_{old}}(y_i \mid x)}

新旧策略在整个序列上的概率比。

步骤3：长度归一化（关键创新）

\left( \frac{\pi_{\theta}(y_i \mid x)}{\pi_{\theta_{old}}(y_i \mid x)} \right)^{\frac{1}{|y_i|}}

对概率比开 $|y_i|$ 次方，消除序列长度的影响，本质上是计算token级概率比的几何平均值。

步骤4：等价的对数形式（数值稳定）

s_i(\theta) = \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log\left( \frac{\pi_{\theta}(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} \mid x, y_{i,<t})} \right) \right)

通过对数变换避免长序列连乘导致的数值下溢问题。

b) 其他符号：

$\hat{A}_i$ ：第 $i$ 个序列的优势估计（序列级别）。
$|y_i|$ ：第 $i$ 个序列的长度。

3. 计算流程

计算对数概率比的平均值：
$\text{log\_ratio\_mean} = \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log\left( \frac{\pi_{\theta}(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} \mid x, y_{i,<t})} \right)$
指数变换得到归一化的重要性比率：
$s_i(\theta) = \exp(\text{log\_ratio\_mean})$
PPO裁剪：在序列级别应用裁剪。

三、GSPO vs GRPO 详细对比

维度	GRPO	GSPO
优化粒度	Token级别（细粒度）	序列级别（粗粒度）
重要性比率	$w_{i,t}$ ：每个token一个比率	$s_i$ ：每个序列一个比率
优势函数	$A_{i,t}^{b}$ ：每个token的优势	$\hat{A}_i$ ：整个序列的优势
计算复杂度	高（需对每个token计算和裁剪）	低（只需计算一次序列级比率）
训练稳定性	较低，易受单个token噪声影响	较高，长度归一化降低方差
长序列处理	概率乘积容易数值下溢	对数平均+指数变换，数值稳定
适用场景	需要精细控制每个token的任务	长文本生成、复杂推理任务

四、核心数学差异解析

1. 为什么GSPO更稳定？

GRPO的问题：

\sum_{t=1}^{|y|} w_{i,t} \cdot A_{i,t}

每个token的噪声在求和中累加。
长序列时，误差被放大。

GSPO的解决：

s_i = \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log(w_{i,t}) \right)

先对每个token的重要性比率取对数再求平均，降低了方差。
通过长度归一化，使得不同长度的序列具有可比性。

2. 长度归一化的数学意义

s_i = \left( \prod_{t=1}^{|y_i|} w_{i,t} \right)^{\frac{1}{|y_i|}}

这实际上是计算token级概率比 $w_{i,t}$ 的几何平均值。相比算术平均：

对极端值不敏感。
保持了概率连乘的乘法结构。
使不同长度序列的重要性比率处于同一尺度。

3. 优势函数估计

GRPO：

A_{i,t}^{b} = r_{i,t} - b_t

需要为每个token位置 $t$ 估计奖励 $r_{i,t}$ 和基准值 $b_t$ 。

GSPO：

\hat{A}_i = R_i - b

只需为整个序列估计一个总奖励 $R_i$ 和一个基准值 $b$ 。实践中， $\hat{A}_i$ 常通过组内标准化计算：

\hat{A}_i = \frac{R_i - \mu_{\mathcal{G}}}{\sigma_{\mathcal{G}}}

其中 $R_i$ 是序列 $i$ 的总奖励， $\mu_{\mathcal{G}}$ 和 $\sigma_{\mathcal{G}}$ 是同一组（Group）内所有序列奖励的均值和标准差。

五、实践建议

选择GRPO的场景：

需要对每个token进行精细控制的任务（如语法纠正、特定风格生成）。
短序列生成任务。
有明确的、可获得的token级奖励信号。

选择GSPO的场景：

长文本生成（如长篇回答、故事创作、代码生成）。
只有序列级评价指标（如任务完成度、总体准确率、BLEU分数）。
需要提高训练稳定性和计算效率。
使用混合专家（MoE）等大规模模型。

目录

一、GRPO（Group Relative Policy Optimization）

1. 核心目标函数

2. 关键符号详解

3. 计算流程

二、GSPO（Group Sequence Policy Optimization）

1. 核心目标函数

2. 关键符号详解

3. 计算流程

三、GSPO vs GRPO 详细对比

四、核心数学差异解析

1. 为什么GSPO更稳定？

2. 长度归一化的数学意义

3. 优势函数估计

五、实践建议