结论

桂林电子科技大学与智利大学研究者公开预印本《Beyond Causal Masks》，研究自回归序列模型中注意力掩码正确但辅助操作仍引入未来词元影响的问题。作者提出以缀不变审计与最大前缀输出差异LeakScore进行诊断，并在自适应残差路由解码器案例中报告：24层异常检查点教师强制验证损失由基线3.5958降至1.4259，但未通过审计且自由生成下参考模型困惑度明显更高；两个独立训练的12层因果修复消除可检泄漏后，验证损失与参考困惑度回到对照量级，此前大幅表观优势消失。这是作者在受控协议上的单次报告结论，版本为arXiv v1预印本，未经同行评审，也未经本站独立复现，不应视为普遍、因果或可直接部署的事实。

研究状态与发布时间

该工作以arXiv预印本形式首次公开，编号arXiv:2610.31522，版本为v1。arXiv摘要页记录的提交时间为2026年10月22日16时34分32秒UTC，换算为北京时间为2026年10月23日00时34分32秒，因此归入本次上海日历日10月23日窗口。arXiv当日cs.AI新论文列表明确标注为2026年10月23日星期五的新提交，摘要页与HTML全文页均可确认该时间。论文HTML页首标注Journal为Neurocomputing，但摘要页无接收或发表卷期信息，仍按预印本处理。主题为序列建模因果审计与泄漏定位，不涉及商业模型发布、产品功能上线或仓库版本本身，归入研究进展符合收录边界。

研究对象与方法

研究对象是解码器自回归序列模型中除掩码注意力之外的辅助信息路径，包括序列池化、时序卷积、状态聚合、路由与跨时间归一化。作者将隐藏未来词元泄漏定义为后缀通过辅助操作影响前缀输出，而注意力掩码本身正确。诊断方法为前缀不变原则：固定前缀、仅扰动后缀，若共享前缀输出差异超过数值容差则判为失败。核心统计量LeakScore为所有前缀位置与输出维度上的最大绝对差异，默认容差为10的负5次方，并辅以平均差异、首位翻转率、受影响词元率与JS散度等行为指标，以及逐层剖面定位首次出现可检影响的FirstLeakLayer，引导代码检查。

评估条件与数据范围

评估包括三部分。一是六组合成实现对，覆盖五类模块家族，用于检验诊断对因果与非因果实现的区分度，并在前缀长度、随机种子与容差10的负6至负4次方范围内做稳健性检查。二是真实模型审计，包括干净预训练对照、受控故障注入与缓存及数值精度一致性检验。三是CDR-AttnRes案例：起因是在注意力残差上增加全序列摘要作为深度路由查询低秩修正的后续实现，比较对象为24层异常检查点、12层对照与两个独立训练的12层修复。生成诊断使用固定GPT-2 medium参考语言模型，在50个提示上计算参考困惑度。以上均限当日论文同一套受控协议，不涉及大规模预训练、开放长文本生成或生产负载保证。

作者报告的主要结果

作者称24层异常检查点验证损失大幅低于基线，但未通过前缀不变审计，层级诊断与实现检查将其追溯为全序列摘要经动态路由查询路径广播所致。作者称两个12层因果修复均消除可检泄漏，验证损失与参考困惑度回到对照量级，大的表观优势随之消失。作者称六组合成对中非因果变体LeakScore远高于容差而因果修复变体接近数值零，且在容差变化下分离不变。作者还称故障注入的预训练模型可被检出，而干净对照通过审计，缓存一致性在不同精度下保持。以上均为作者自有实现与受控输入下的相对结果，不构成跨架构或跨数据分布的通用保证，编辑解释是：教师强制损失降低不等于自回归生成改进。

局限与不确定性

本工作为预印本v1，未经同行评审，结论未经独立复现，不得写成普遍、因果或已获认可的事实。结论限特定CDR后续实现、六组合成模块对、小规模解码器与50提示生成诊断，不推广到其他自适应计算、专家路由、线性注意力实现与大规模生产模型。审计通过仅针对受试输入与执行条件，未检出不等于不存在其他输入或低于容差的依赖；默认容差与float32评估设置影响 verdict。参考困惑度为模型相关诊断，依赖固定GPT-2 medium参考，不是语义质量或人工评价。作者单位与效果主张为作者自述，引用前应核对自身池化、路由与归一化实现是否匹配。

潜在意义

若后续复现成立，该工作为自适应序列模型提供了一个与具体模块无关的行为审计起点，提示在注意力掩码之外检查状态聚合与路由查询的因果结构。对关注高效架构与可复现评测的中国读者，可将其视为待验证的排障参考：在报告教师强制损失改进时同步做前缀不变检查与自由生成检验，而不是仅凭验证损失判断架构优劣。在复现与评审完成前，重点核对自身实现是否存在全序列广播、跨位置排序与非因果归一化，而非直接作为选型或上线依据。