结论
一篇于北京时间2026年9月18日首次公开的预印本提出“分数中心化”（Score Centering），试图解决大语言模型强化学习中训练与推理引擎不一致导致的训练不稳定。作者报告称，该方法通过消除策略梯度中的漂移项，在0.6B至30B参数规模的量化与时效性实验中达到或超过截断重要性采样的稳定性，且可与重要性采样组合使用。这仍是未经同行评审的作者结论，尚未获得独立验证，适用范围限于论文 tested 的特定模型与任务。
研究主体与状态
研究标题为 Score Centering Stabilizes Off-policy Reinforcement Learning，学科分类为机器学习（cs.LG）。作者署名为 Martin Marek 与 Max Ryabinin，论文页面显示机构关联为 Together AI。版本为 v1 预印本，未标注会议、期刊或同行评审信息。arXiv 摘要页显示提交时间为2026年9月17日17时58分17秒（UTC），对应北京时间2026年9月18日1时58分；arXiv 机器学习当日新稿目录明确将其列入2026年9月18日（星期五）新稿，符合当日首次公开口径。
方法：从漂移到分数中心化
论文讨论的背景是训练-推理不一致（TIM）：采样用的推理引擎与计算梯度的训练引擎因精度、算子实现、并行切分或异步时效性存在细微差异，导致采样分布与训练分布不完全一致。作者用协方差恒等式将期望策略梯度分解为“漂移”与“信号”两项，认为漂移仅与奖励均值有关，不携带哪条轨迹成功的区分信息，其方向等价于以采样器为教师的蒸馏梯度；在采样器随训练同步更新的在线训练中会形成反馈累积。作者指出，常用的组内中心化能缩小漂移但不能在前缀级别消除它。在此基础上提出的分数中心化是在每个前缀减去期望分数的加性修正，目标是使每个前缀的期望分数为零；论文强调该方法不使用重要性比率，不做裁剪或掩码，与基于重要性采样的方法正交。
评估条件与主要结果
作者报告的评估包括三类设置：一是用 Qwen3-1.7B 在 Countdown 任务上加入可控权重扰动，对比离线与在线、不同奖励模式下的稳定性；二是在不同强度的采样器量化下，用 Qwen3-30B-A3B-Base 在 INTELLECT-2 数学子集上训练约800步，对比朴素策略梯度、截断重要性采样与分数中心化；三是时效性（staleness）实验，对比分数中心化、重要性采样及两者组合。作者称，温和量化下多种修正方法表现接近，重度量化下分数中心化与截断重要性采样的差距拉大；单独使用分数中心化即可达到或超过重要性采样基线，组合使用则在时效性实验中优于纯重要性采样基线。上述数字与比较结论均来自作者实验，编辑未做独立复算。
限制与适用边界
该工作存在四项明确限制。第一，状态为预印本，未经同行评审，方法表述与效果结论均为作者主张，不应视为已确立事实。第二，数据范围有限：主要基于 Qwen3 系列0.6B至30B、Countdown 与 INTELLECT-2 数学子集，以及人工权重噪声、量化与时效性三类不一致来源，不能直接推广到其他架构、其他任务或长上下文智能体编码等场景。第三，论文未提供可核验的第三方复现，文中给出的代码仓库链接在本次核验时无法访问，复现性待确认。第四，加性修正的理论适用条件、超参数敏感性与计算开销在公开摘要与正文中未充分量化，实际部署效果仍需在自身管线中验证。
潜在意义
若后续能被独立复现，该思路的潜在意义在于为高吞吐强化学习提供一种轻量、免比率的稳定手段：无需完全消除引擎差异或承担重要性采样的高方差，即可抑制漂移累积，并与现有重要性采样方法叠加。对中国读者而言，可将其理解为大模型后训练工程中的一项候选技巧，而非通用训练范式的替代。在引用时应保留“预印本、特定任务、作者报告”的限定，避免将其写成普遍、因果或已获同行认可的结论。