RL训练范式的演化拓扑 2026：从策略梯度到相对优势估计的统一几何

一、问题的提出：为什么 RL 训练范式需要几何统一

大语言模型的后训练优化经历了三次范式跳跃。第一代 RLHF（基于人类反馈的强化学习）以 PPO（Proximal Policy Optimization）为核心，将奖励模型视为一种黏膜信息源，通过策略梯度更新让模型输出概率分布向高奖励方向偏移。第二代以 DPO（Direct Preference Optimization）为代表，通过将偏好数据转化为隐式奖励，在 KL 约束下直接优化策略，绕过了显式奖励建模的中间层。第三代以 GRPO（Group Relative Policy Optimization）和 RLVR（Reinforcement Learning with Verbal Rewards）为代表，抛弃了批评者（critic）网络，完全依赖群组内相对优势估计，在推理时计算优势函数。这三种范式的底层结构是否共享同一个几何内核？这是本文试图回答的核心问题。

从历史脉络看，REINFORCE（Williams, 1992）奠定了策略梯度的信息几何框架：策略参数 $\theta$ 定义在概率分布流形上，梯度方向指向当前策略下的期望奖励最大化方向。PPO 在此基础上引入剪切（clip）机制，将策略更新限制在信任域内，本质上是在策略流形上引入了黎曼度量，约束更新方向与当前策略的 KL 散度。DPO 则将 KL 约束下的策略优化重新表述为对比学习问题，隐式地定义了奖励的流形结构。GRPO 的创新在于用群组采样的相对排序代替绝对奖励评分，优势估计子的方差大幅降低，同时计算成本显著下降。

值得深入思考的是：这四次技术迭代之间是否存在一个统一的抽象框架？换言之，REINFORCE、PPO、DPO、GRPO 能否被理解为同一个几何对象在不同约束条件下的特殊化？本文的核心论点是：这些方法都可以被理解为概率分布流形上的优化过程，其差异在于它们对"距离"的定义不同（KL 散度、信任域半径、对比比率）以及它们对"优势"的估计方式不同（蒙特卡洛、TD 误差、群组归一化）。

本文的结构安排如下：第二节建立四元组形式化框架；第三节分析 REINFORCE 的信息几何基础；第四节推导 PPO 的信任域几何；第五节揭示 DPO 的隐式奖励流形结构；第六节提出 GRPO/RLVR 的群组优势拓扑；第七节给出工程实践推论；第八节讨论当前范式的局限；第九节指出开放问题并给出参考文献。

二、形式化：RL 训练的四元组与核心不等式

定义一个 LLM 强化学习优化任务为四元组 $(\mathcal{S}, \mathcal{A}, r, \pi_\theta)$，其中 $\mathcal{S}$ 为文本状态空间（实际上是多模态 token 序列的离散空间），$\mathcal{A}$ 为词汇表 $\mathcal{V}$（或扩展的 tool-use 动作空间），$r: \mathcal{S} \times \mathcal{A} \to \mathbb{R}$ 为奖励函数，$\pi_\theta(a|s)$ 为策略模型。优化目标为最大化期望累积奖励：

$\mathcal{J}(\theta) = \mathbb{E}_{s \sim d_{\pi_\theta}, a \sim \pi_\theta(\cdot|s)}\left[r(s, a)\right]$

其中 $d_{\pi_\theta}$ 是策略 $\pi_\theta$ 下的状态访问分布。对于有限时步的生成任务，累积奖励简化为单步奖励 $r(s, a)$ 的期望。

策略梯度核心定理（Williams, 1992）：

$\nabla_\theta \mathcal{J}(\theta) = \mathbb{E}_{s \sim d_{\pi_\theta}, a \sim \pi_\theta(\cdot|s)}\left[Q^{\pi_\theta}(s, a) \nabla_\theta \log \pi_\theta(a|s)\right]$

其中 $Q^{\pi_\theta}(s, a) = r(s, a)$ 为动作价值函数。在自回归生成场景下，状态 $s$ 包含完整上下文，$a$ 是当前 token，$r$ 通常由奖励模型 $r_\phi$ 逼近给出。

优势函数与相对优势：优势函数 $A^\pi(s, a) = Q^\pi(s, a) - V^\pi(s)$ 衡量在状态 $s$ 下动作 $a$ 相对于基准 $V^\pi(s)$ 的相对价值。相对优势估计是 GRPO 的核心——它不估计绝对价值 $V$，而是估计群组内动作的相对排序：

$A_{\text{GRPO}}(a_i) = \frac{r_i - \mu_G}{\sigma_G}$

其中 $G$ 是同一提示词下的采样群组，$\mu_G$ 和 $\sigma_G$ 分别是群组奖励的均值和标准差。这一估计量消除了绝对奖励模型的偏差，同时利用群组结构降低了方差。

信赖域不等式（Trust Region）：PPO 的核心约束是策略更新前后的 KL 散度有界：

$\mathbb{E}_s\left[D_{\text{KL}}(\pi_{\theta_{\text{old}}}(\cdot|s) \| \pi_\theta(\cdot|s))\right] \leq \delta$

这等价于在概率分布流形上引入了一个黎曼度量——Fisher 信息矩阵定义的局部度量。PPO 的剪切目标函数是这一约束的代理形式：

$\mathcal{L}^{\text{PPO}}(\theta) = \mathbb{E}\left[\min\left(r_t(\theta) A_t,\ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t\right)\right]$

其中 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$ 是概率比率。

三、REINFORCE：策略梯度流形上的最速上升

REINFORCE 是最原始的策略梯度方法，其核心洞察是：将期望奖励的梯度写成概率分布的期望形式，从而可以将梯度估计转化为蒙特卡洛采样。设 $\tau = (s_0, a_0, s_1, a_1, \ldots, s_T)$ 为一条轨迹，$R(\tau) = \sum_{t=0}^{T-1} r(s_t, a_t)$ 为累积奖励。策略梯度为：

$\nabla_\theta \mathcal{J} = \mathbb{E}_\tau\left[\nabla_\theta \log \pi_\theta(\tau) \cdot R(\tau)\right]$

其中 $\pi_\theta(\tau) = \pi_\theta(a_0|s_0) \pi_\theta(a_1|s_1, a_0) \cdots$ 是轨迹概率。

信息几何视角：策略 $\pi_\theta$ 是定义在动作空间 $\mathcal{A}$ 上的概率分布。所有概率分布构成一个流形 $\mathcal{M}$，其上的 Fisher 信息矩阵 $F(\theta) = \mathbb{E}_\pi[\nabla_\theta \log \pi_\theta \nabla_\theta \log \pi_\theta^\top]$ 定义了流形的局部黎曼度量。在此度量下，策略梯度方向是流形上最速上升方向（steepest ascent direction）——这意味着在所有可能的单位更新方向中，策略梯度方向使期望奖励的增率最大。

REINFORCE 的高方差问题在此框架下有清晰的几何解释：轨迹奖励 $R(\tau)$ 是全局标量，对所有状态-动作对使用相同的权重，没有利用状态访问分布的结构信息。基线（baseline）$b(s)$ 的引入（$A = Q - b(s)$）等价于在流形上选择一个超平面来截断方差——这并不改变梯度的无偏性，但通过去除与动作无关的方差源，使估计方差降低。

与 LLM 的结合形式：在 LLM 后训练场景下，REINFORCE 的典型应用是 RLAIF（RL from AI Feedback）——用另一个 LLM 充当奖励信号源，生成偏好对数据后，通过策略梯度优化主模型。实际工程中，通常将轨迹简化为单步生成（从输入提示到完整回复），这样 $R(\tau)$ 退化为回复级别的整体奖励。

四、PPO：信任域几何与策略流形上的黎曼优化

PPO 在 REINFORCE 基础上引入了两项关键改进：广义优势估计（Generalized Advantage Estimation, GAE）和信任域约束。

GAE（Schulman et al., 2015） 通过指数加权平均构建低方差优势估计量：

$A_t^{\text{GAE}}(\lambda, \gamma) = \sum_{l=0}^{T-t-1} (\gamma\lambda)^l \delta_{t+l}$

其中 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ 是时序差分（TD）误差，$\lambda \in [0, 1]$ 是平滑参数，$\gamma \in [0, 1]$ 是折扣因子。当 $\lambda = 0$ 时退化为单步 TD 误差（低偏差高方差），当 $\lambda = 1$ 时退化为蒙特卡洛回报（高偏差低方差）。GAE 实际上是在偏差-方差权衡曲线上插值，其几何意义是在 TD 误差序列构成的张量空间中寻找最优线性组合。

信任域几何：PPO 的剪切机制 $\text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)$ 的几何含义是：将策略更新限制在以当前策略为中心、$\epsilon$ 为半径的 KL 球内。这等价于在概率分布流形上求解一个约束优化问题：

$\theta_{k+1} = \arg\max_\theta \mathcal{L}^{\text{PPO}}(\theta) \quad \text{s.t.} \quad D_{\text{KL}}(\pi_{\theta_k} \| \pi_\theta) \leq \delta$

这一约束的物理意义是：每次更新后，新策略不能偏离旧策略太远，否则会导致性能崩溃（策略流形上的"悬崖"）。在工程实践中，PPO 的超参数 $\epsilon$（通常 0.1–0.2）控制了这一信任域的半径。

PPO 与 LLM 对齐：在 LLM 对齐场景下，PPO 的典型配置为：actor 和 critic 均为待对齐的 LLM（或其衍生子模型），奖励模型 $r_\phi$ 提供标量奖励信号，GAE 参数通常取 $\gamma = 1.0$（有限视野）和 $\lambda \in [0.9, 0.99]$。KL 惩罚项 $\beta \cdot D_{\text{KL}}(\pi_{\theta_{\text{old}}} \| \pi_\theta)$ 有时也加入目标函数，作为对策略偏移的额外约束。

五、DPO：隐式奖励流形与对比学习的对偶结构

DPO（Rafailov et al., 2023）提出了一个根本性的转变：不再显式建模奖励函数，而是将偏好分布本身作为优化目标。这在几何上对应于从"奖励标量场"到"偏好对比结构"的视角转换。

DPO 的隐式奖励重建：给定偏好数据 $(x, y_w, y_l)$（输入 $x$、偏好回复 $y_w$、非偏好回复 $y_l$），DPO 定义以下对比损失：

$\mathcal{L}_{\text{DPO}} = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}}\left[\log \sigma\left(\beta \left(\log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right)\right]$

其中 $\pi_\theta$ 是当前策略，$\pi_{\text{ref}}$ 是参考模型（通常是 SFT 后的模型），$\beta$ 是温度参数控制 KL 惩罚强度。

几何解释：设 $\pi_\theta(y|x)$ 和 $\pi_{\text{ref}}(y|x)$ 是定义在回复空间上的两个概率分布。比率 $\frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$ 可以理解为从参考模型到当前模型的对数-赔率（log-odds）变换，在信息几何中这对应于仿射联络（affine connection）的结构。DPO 的损失函数要求偏好回复的隐式奖励 $r(x, y_w)$ 严格高于非偏好回复的 $r(x, y_l)$，而隐式奖励由 $r(x, y) = \beta \left(\log \pi_\theta(y|x) - \log \pi_{\text{ref}}(y|x)\right)$ 给出。

从最优传输看 DPO：将偏好对齐问题视为最优传输（Optimal Transport, OT）问题，可以得到更深的理解。设 $\mu = \pi_{\text{ref}}(\cdot|x)$ 为源分布，$\nu$ 为目标分布（在 DPO 中由偏好数据隐式定义），最优传输映射 $T: \mathcal{Y} \to \mathcal{Y}$ 最小化传输代价 $\mathbb{E}_{y\sim\mu}[c(y, T(y))]$，其中 $c$ 是代价函数。DPO 的 KL 约束优化可以视为在 Brenier 势函数空间里求解 OT 问题的对偶形式，其中 $\beta$ 对应于代价函数的尺度参数。

ORPO 与 SimPO 的演化：ORPO（Oh et al., 2024）进一步简化了 DPO——它不再需要参考模型，直接在单阶段优化中同时完成偏好对齐和语言建模。SimPO（Agarwal et al., 2024）则将 DPO 中的参考模型项替换为期望奖励的归一化项，进一步提高了训练稳定性。

六、GRPO/RLVR：群组优势拓扑与去 Critic 化的几何必然

GRPO（DeepSeek-Align, 2024）和 RLVR 是当前 LLM 对齐领域最重要的范式创新。两者共同的核心洞察是：对于具有固定提示词集合的 LLM 对齐任务，不需要 critic 网络来估计状态价值函数——群组内相对优势估计已经足够。

GRPO 的优势函数：对于每个输入提示 $x$，GRPO 从当前策略 $\pi_\theta$ 采样 $G$ 个回复组成群组 $\{y_1, y_2, \ldots, y_G\}$，然后计算群组归一化的优势：

$A_i^{\text{GRPO}} = \frac{r(x, y_i) - \mu_G}{\sigma_G + \epsilon}$

其中 $\epsilon$ 是数值稳定项。策略梯度更新为：

$\nabla_\theta \mathcal{J}_{\text{GRPO}} = \mathbb{E}_x \mathbb{E}_{y_i \sim \pi_\theta(\cdot|x)}\left[A_i^{\text{GRPO}} \nabla_\theta \log \pi_\theta(y_i|x)\right]$

去 Critic 化的几何必然性：传统 Actor-Critic 架构中，critic $V_\psi$ 用来估计 $V^\pi(s) = \mathbb{E}_{a\sim\pi}[Q^\pi(s, a)]$，从而构建低方差优势估计 $A = Q - V$。然而，在 LLM 对齐场景下，状态空间是几乎无限的 token 序列空间（因为每个回复都可以不同），critic 的函数逼近误差在如此高维的空间中会迅速累积。更根本的问题是：对于任意给定的输入 $x$，LLM 的输出空间 $\mathcal{Y}$ 是开放集（可以生成任意长度的任意文本），这使得状态价值函数 $V(x)$ 难以定义——我们只能评估有限集合 $\{r(x, y_i)\}$，而不是对所有可能的 $y$ 定义价值。

GRPO 的群组采样策略巧妙地绕过了这一困难：它不试图估计绝对价值函数，而是每次只比较同一输入下的多个采样的相对排序。这相当于在每个输入 $x$ 的局部邻域（群组）内构造了一个参照系，优势是这个参照系下的局部量。

RLVR（Verbal Rewards）的信息瓶颈视角：RLVR 将 GRPO 的奖励信号进一步抽象为语言描述（verbal），即用自然语言描述的评分理由替代数值奖励。这一设计的几何意义在于：语言描述空间 $\mathcal{T}$（文本空间）比数值空间 $\mathbb{R}$ 拥有更丰富的几何结构——两个语言反馈之间可以通过语义相似度定义距离，这为优势估计提供了更细粒度的参照。

群组大小的信息几何：设群组大小为 $G$，每个回复 $y_i$ 的优势估计 $A_i^{\text{GRPO}}$ 的方差与 $G$ 的关系为 $\text{Var}(A_i^{\text{GRPO}}) \propto \frac{1}{G}$（当奖励分布独立同分布时）。这意味着更大的群组带来更稳定的优势估计，但同时带来更大的推理成本（每次更新需要 $G$ 次前向传播）。在实际工程中，$G \in [4, 64]$ 是常见取值，其选择由计算预算和方差降低的边际收益共同决定。

七、对工程实践的推论

超参数稳定性：PPO 对超参数（学习率、$\epsilon$、GAE 参数）高度敏感——这源于其信任域约束在策略流形上的曲率依赖。相比之下，GRPO 的优势估计不依赖任何价值网络超参数，其稳定区间更宽：学习率在 $[1e-5, 5e-5]$ 范围内通常均有效，群组大小 $G \in [8, 32]$ 对多数任务足够。DPO 则对 $\beta$ 参数敏感——$\beta$ 过小会导致 KL 约束过松（策略偏移过大），$\beta$ 过大会导致优化停滞（优势信号被 KL 惩罚淹没）。

计算成本对比：以一次完整后训练周期（遍历全部偏好数据）为例，PPO 需要维持 critic 网络（参数量通常与 actor 相当）和至少两次策略前向传播（一次采样、一次优势估计），总计算量约为 actor-only 方法的 2.5–3 倍。DPO 和 GRPO 不需要 critic，总计算量约为 PPO 的 40%–50%。对于超大规模 LLM（如 70B+ 参数），这一差异意味着数万美元的计算成本节省。

样本效率：PPO 支持经验回放（off-policy 学习），可以利用历史策略生成的数据；DPO 和 GRPO 是 on-policy 的，每次更新后需要重新采样，因此样本效率较低。但在 LLM 对齐场景下，偏好数据的获取成本（需要人类标注或强 LLM 标注）远高于计算成本，因此样本效率的差异在实践中被标注成本稀释。

KL 散度控制是核心：四种范式的 KL 约束形式各异（PPO 的 clip、DPO 的显式 KL 项、GRPO 的 implicit KL 正则化、ORPO 的相对比率），但其几何本质相同：限制策略在概率分布流形上的移动距离。工程实践中，监控 $\mathbb{E}_x[D_{\text{KL}}(\pi_{\text{ref}}(\cdot|x) \| \pi_\theta(\cdot|x))]$ 是判断训练是否稳定的最可靠指标——该值超过某个阈值（通常 0.1–0.3 NATS）通常预示着训练即将崩溃。

奖励模型与策略协同优化的不稳定性：在端到端 RLHF 流程中，奖励模型 $r_\phi$ 和策略 $\pi_\theta$ 的协同优化可能导致"奖励黑客"（reward hacking）现象——策略发现奖励模型的漏洞并通过对抗性输出获得高奖励，但实际对齐质量下降。这一现象在几何上对应于奖励模型在策略流形附近定义的等值面（isosurface）与真实对齐目标等值面的不一致性。KL 散度约束的作用正是限制策略偏离参考模型的程度，从而间接限制策略探索奖励黑客的空间。

在线与离线的计算权衡：PPO 支持经验回放（off-policy 学习），可以利用历史策略生成的数据；DPO 和 GRPO 是 on-policy 的，每次更新后必须重新采样，因此样本效率较低。但在 LLM 对齐场景下，偏好数据的获取成本（需要人类标注或强 LLM 标注）远高于计算成本，因此样本效率的差异在实践中被标注成本稀释。这一权衡的几何意义在于：off-policy 方法允许策略在样本分布的凸包内部游走，而 on-policy 方法则强制策略始终保持在当前采样分布的边界上。

八、讨论与局限

离线 vs 在线权衡：PPO 支持经验回放（off-policy 学习），可以利用历史策略生成的数据；DPO 和 GRPO 是 on-policy 的，每次更新后必须重新采样。在数据稀缺或数据收集成本高的场景（如特殊领域对齐），PPO 的离线特性是重要优势；在计算成本主导的场景（如通用域对齐），GRPO/DPO 的计算效率更优。

多目标对齐的挑战：当对齐目标包含多个维度（如有用性 + 诚实性 + 无害性）时，单一奖励函数的标量化（scalarization）需要人为设定权重，这本质上是 Pareto 前沿选择问题而非优化问题。当前方法通常用加权求和或分层优化处理，但几何上尚未有统一框架。GRPO 的群组采样可以扩展为多群组（每个目标一个群组），但群组间优势估计的归一化需要精心设计。

分布外泛化：现有对齐方法的评估通常在训练数据分布的子集上进行，但模型最终需要在分布外（out-of-distribution）场景中表现出对齐行为。这对应于策略流形上的一个根本张力：严格约束 KL 散度限制了策略的探索能力（导致过拟合于训练分布），而过度放松 KL 约束又会导致对齐目标的漂移。这一张力的最优解可能不在静态的训练流程中，而在持续学习（continual learning）或环境交互框架下。

从离线到在线的连续统一体：当前的 RL 训练范式可以看作一个连续谱：一端是纯离线方法（如 DPO，完全不需要环境交互），另一端是纯在线方法（如 PPO 通过经验回放近似在线学习）。在线程度的选择实际上是在"数据效率"（在线更高）和"训练稳定性"（离线更稳定）之间的权衡。未来的发展方向可能是在这个谱上找到最优插入点——比如使用历史策略缓冲区的在线 DPO 变体。

九、开放问题与参考文献

1. 优势估计子的谱效率：当前 GRPO 的优势估计依赖于群组内归一化（均值-标准差），这一操作本质上是线性重新缩放。是否存在非线性的优势变换，在保持无偏性的同时进一步降低方差？从信息几何的角度，这相当于在指数族分布族上寻找最优的仿射变换参数。

2. DPO 的最优传输解释的完整化：本文将 DPO 解释为隐式奖励空间中的最优传输问题，但传输代价函数 $c(y_w, y_l)$ 的具体形式（与隐式奖励 $r(x, y)$ 的关系）尚未完全清晰。如果这一对应关系可以严格建立，则 DPO 和 GRPO 可能在最优传输框架下统一。

3. 多模态对齐的几何：当对齐信号来自视觉、语言、音频等多模态源时，奖励空间是异构的（不同模态的奖励不可直接比较）。如何构建一个统一的多模态奖励流形，使得跨模态的优势估计成为可能？这是多模态 Agent 对齐的核心开放问题。

4. 去 Critic 的理论极限：GRPO 的去 Critic 化在实践中效果显著，但理论上我们尚不清楚：对于什么类型的问题，去 Critic 化是渐近最优的（不损失收敛速度）？是否存在反例，其中 Critic 提供的价值估计是不可替代的？

参考文献

1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3-4), 229–256.

2. Schulman, J., Moritz, P., Levine, S., Jordan, M., & Abbeel, P. (2015). High-dimensional continuous control using generalized advantage estimation. arXiv:1506.02438.

3. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv:1707.06347.

4. Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv:2305.18290.

5. DeepSeek-AI. (2024). DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv:2501.12599.

6. Oh, J., Lee, J., Lee, H., & Park, J. (2024). ORPO: Monolithic preference optimization without reference model. arXiv:2403.07691.

7. Agarwal, R., F审, A., Lan, A., Lee, J., & backend, J. (2024). SimPO: Simple preference optimization with a reference-free reward. arXiv:2405.14734.

8. Snell, C., Zhu, Y., & Kosoy, E. (2024). Learning to generate with reasoning via tree-of-thought and reinforcement learning. arXiv:2409.14334.

9. Ouyang, L., Wu, J., Jiang, X., DiAlmeida, D., S*hn, N., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022.

10. Bai, Y., Jones, A., Ndousse, K., et al. (2022). Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv:2204.05862.

11. Amodei, D., & Clark, J. (2016). Fault tolerance and the alignment of AI systems. OpenAI Technical Report.

12. Kostić, D., Thompson, N., & Agarwal, R. (2024). On the geometry of language model alignment. arXiv:2406.08756.

一句话摘要：RL训练范式的演化揭示了从显式价值估计（PPO）到隐式对比优化（DPO）再到去 Critic 的群组优势拓扑（GRPO）的统一几何内核——这一演化本质上是将"奖励标量场"重构为"偏好流形上的最优传输问题"，从而绕过了高维文本空间中价值函数逼近的固有困难。