结论

普林斯顿大学团队在 Asia/Shanghai 9月24日首次公开预印本Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning,针对数学规则重排后答案不变、内部表征是否也应不变的问题,给出反直觉的作者结论:在合成多步函数复合任务上,更准确解出重排问题的模型反而更清晰地区分不同规则排序。作者报告,在16个1B至8B指令微调模型和三种合成设置下,层平均置换信噪比与准确率呈正秩相关,Spearman相关最高达0.86。以上为作者在受控合成条件下的主张,为预印本v1未经同行评审,也未经本站独立验证,不应视为普遍推理能力或因果结论。

方法与评估条件

论文提交记录为2026年9月23日17时40分57秒UTC,对应北京时间2026年9月24日01时40分,收录于arXiv 9月24日cs.LG与cs.AI新公告批次,满足当日首次公开门槛。研究对象是数学规则组合推理:每个问题给出数值映射规则链与干扰链,例如F(3)=7、G(7)=-2等,要求从输入推导多步复合结果;打乱规则呈现顺序不改变逻辑依赖与正确答案,从而固定答案、单独考察排序影响。作者定义置换信噪比,即不同排序组中心分离度与同排序内问题间波动之比,以回答生成前非填充提示词均值池化表征计算,再对嵌入输出与全部变换层取平均。评估覆盖Qwen2.5、Llama、Mistral、Gemma与NVIDIA Ace等家族16个1B至8B指令模型,含通用、代码与数学变体;三种设置为组合深度与干扰数组合(D,m)取(2,4)、(2,7)、(3,4),每设置100个问题实例各用50种共享置换呈现,每模型5000条提示,单采样回答按抽取数值是否匹配计分。

主要结果

作者在三个合成设置中观察到一致方向:层平均置换信噪比越高,模型在重排问题上的平均准确率排名越高,三设置Spearman相关分别为0.86、0.73与0.62。作者据此提出区分答案不变性与表征不变性,认为成功的规则组合可以伴随对等价排序的内部区分,而非形成忽略顺序的公共表征。该视角补充了以往只看最终答案准确率与前提顺序敏感性的讨论,控制模型规模后的补充分析见附录。结论限作者的合成任务口径、表征提取方式与冻结模型版本,属作者主张而非独立验证事实。

  • 层平均置换信噪比与重排准确率在三种合成设置下均呈正秩相关,相关系数分别为0.86、0.73与0.62;16个1B至8B模型中更准确者对不同规则排序的表征区分更明显;作者据此区分答案不变与表征不变,提出准确推理可与区分等价排序的内部表征共存;结果基于100实例乘50置换的受控合成与均值池化表征统计,限本次冻结实现条件。

局限与适用边界

本研究为预印本v1,未经同行评审,所有数字限本次冻结实现、特定模型版本与评分实现,需独立复现后才能确认。任务仅为合成数值函数复合与人工置换,未覆盖真实数学基准、自然语言证明、代码推理或长上下文部署,干扰链数量与深度组合有限。模型仅为16个1B至8B指令微调模型,未检验更大参数、未指令微调基座或闭源前沿系统,结论不能外推至任意规模与架构。表征仅取回答生成前提示词均值池化向量,相关性为跨模型的Spearman秩相关,不能证明提高分离度会导致准确率提升,也不能排除训练数据与架构混杂。附录虽做规模控制,但主结论仍依赖三组合成设置,排序模式采样与答案抽取细节变化可能改变数值,不得推广为一般数学推理的普遍规律。

是否同行评审与潜在意义

截至核验时,该工作状态为预印本,arXiv页面明确为v1,无会议或期刊接收信息,编辑将其归为预印本而非已获同行认可的事实。若后续能被独立复现,其意义在于为数学推理评估提供表征侧补充指标:除检查重排后答案是否稳定,还可观察模型是否以可分方式编码排序信息,避免把答案稳定简单等同于内部不变;实际选型仍需在自有数学分布与更大模型上重测准确率与表征统计,并单设任务审计。中国读者参考时应注意作者任务为英文语境下的合成符号任务,与中文数学应用存在分布差异,迁移前需重估。