结论
卡内基梅隆大学、深圳大学与华中师范大学团队公开预印本《Which Differences Matter?》,研究决策模型在给定规则与观测状态下,何种输入变化真正引导了离散答案。作者以可执行算术规则构建受控评测,报告称聚合准确率会掩盖不同响应模式:低秩适应对保留规则的提升随源答案一致性变化,完全冲突时两源分裂增益符号相反;等价改写在不同任务上产生相反效应;联合四元组成功率需经边际保持校准才能解读;外部决策服务对等价表述的答案变化大于相同文本重复,并多跟随被改动表格值与映射的替代目标。这是作者在受控算术域上的单次报告结论,尚未经过同行评审,也未经本站独立复现,不应视为普遍、因果或生产可用的事实。
研究状态与发布时间
该工作以arXiv预印本形式首次公开,版本为v1。arXiv摘要页记录的提交时间为2026年10月21日17时04分02秒UTC,换算为北京时间为2026年10月22日01时04分02秒,因此归入本次上海日历日10月22日窗口。arXiv当日cs.AI新论文列表明确标注为2026年10月22日星期四的新提交,摘要页与HTML全文页均可确认该时间与版本。论文主题为决策模型行为诊断与评测方法,不涉及商业模型发布、产品功能上线或仓库版本本身,归入研究进展符合收录边界。
研究对象与方法
研究对象是将陈述规则与观测状态映射为离散答案的决策模型,覆盖二分类、等级评分、最小路由与最大选择四类任务。作者指出,相同准确率可能对应忽略规则、只响应状态等不同行为,常规聚合分无法区分。方法上,作者用三整数记录与三算子两层结构定义可执行算术规则,算子取自加、减、乘、最小与最大,经有限域行为签名做语义分离,避免句法不同但行为相同的规则混入同一评估。为分离迁移与联合成功,作者构造交叉规则与状态的诊断四元组,要求语义答案沿任一轴变化;再用等价改写固定行为只改表述,用边际保持重关联校准四项全对率,用改动表格值或映射定义替代答案目标,以检验定向信息利用。训练侧用Qwen3.5-2B-Base做低秩适应,并对比冻结残差读出与外部决策服务Jev。
评估条件与数据范围
记录域为三个整数,每个取值负12至正12,规则必须依赖全部三字段并保持相同结构。每个复刻单元用2880个源训练问题及其逆序选项,低秩适应作用于解码器线性模块,秩为16,训练两轮,批量16,以源验证负对数似然选检查点。评测分开发集与保留规则集,复刻交叉两规则划分与三种状态种子,六个固定模型共享同一保留目标池。完全冲突子集仅含39与32个四元组成员,覆盖8与7个任务层。Jev为版本化外部决策服务,批量与精度配置在附录中固定。以上范围均来自当日论文内同一套协议,不涉及其他领域数据或真实业务流量。
作者报告的主要结果
作者称低秩适应在保留规则上优于未适应基座,但增益随最近源答案一致性分组上升;在完全冲突的四元组上,两个源划分结果相反,一个划分准确率从20.47%降至14.37%,另一个从22.41%升至31.29%,联合成功率分别为0.00%与2.83%,合并后约1.39个百分点增益掩盖了符号分歧。等价改写在二分类上增大适应优势,在其他任务上减小,作者将其解读为迁移增益与规则表述相关。联合得分偏离取决于校准参照保留规则还是状态关联,不同参照得出不同结论。外部服务Jev在等价表述间的答案变化大于相同文本重复,且在完整值表下受益,并多跟随被改动值与映射的替代目标。以上均为论文内受控评测数值,编辑解释是:局部条件增益不等于通用决策能力最优,不构成对其他模型、其他规则分布或真实部署效果的保证。
局限与不确定性
本工作为预印本,未经同行评审,结论未经独立复现,不得视为普遍或已确认事实。结论限于特定可执行算术规则域、有限整数状态、四类任务与特定实现,不推广到自然语言法规、真实表格噪声与其他决策场景。核心模型为Qwen3.5-2B-Base与特定低秩配置,冻结读出、精度与批量选择均固定,存在超参与实现敏感性。完全冲突结论基于小样本四元组成员,条件子集增益与全集改进贡献不同。外部表格干预与答案迁移为行为性证据,不能单独证明内部因果机制。引用前需等待独立复现,不应将受控相关性写成因果或已获认可的事实。
潜在意义
若后续复现成立,该路线提示评估决策模型时应将迁移、表述敏感性、联合可靠性与定向信息利用分开测量,而非只看聚合准确率;语义分离加交叉四元组与边际保持校准的组合,有望减少把措辞效应或单因素响应误读为规则理解。但在复现与评审完成前,中国读者宜将其视为待验证的研究候选,而非可直接选型的结论。