结论

香港中文大学、Token Foundry与阿里巴巴集团等团队公开预印本《Rethinking Sequence Compression with Test-time Regression》，提出TTR-Compressor，将序列压缩重构为测试时岭回归，以拟合系数作为压缩表示。作者报告称，该方法在块稀疏注意力的RULER检索任务上大幅超过注意力类压缩器，在视觉词元合并上一致超过常用MLP合并器，并以少55.6%视觉词元达到相当性能。这是作者在受控协议上的单次报告结论，版本为v1技术报告共19页，尚未经过同行评审，也未经本站独立复现，不应视为普遍、因果或可直接部署的事实。

研究状态与发布时间

该工作以arXiv预印本形式首次公开，编号arXiv:2610.31574，版本为v1，标注为技术报告19页4图。arXiv摘要页记录的提交时间为2026年10月22日17时14分38秒UTC，换算为北京时间为2026年10月23日01时14分38秒，因此归入本次上海日历日10月23日窗口。arXiv当日cs.AI新论文列表明确标注为2026年10月23日星期五的新提交，摘要页与HTML全文页均可确认该时间。论文未标注期刊或会议接收信息，仍按预印本处理。主题为序列压缩算子与高效建模，不涉及商业模型发布、产品功能上线或仓库版本本身，归入研究进展符合收录边界。

研究对象与方法

研究对象是高效语言与多模态模型中的序列压缩环节，包括块稀疏注意力中每块词元的摘要向量，以及多模态大模型中相邻视觉特征合并后的紧凑词元。作者指出，均值池化、拼接后投影与注意力加权池化只利用一阶统计，未显式建模词元间相关，冗余词元会相互增强而独特信息被稀释。TTR-Compressor为每段输入构造自监督岭回归问题，键为归一化输入特征，目标为可学习投影，对偶形式以T×T Cholesky求解拟合系数作为压缩表示。外层以任务损失元学习回归目标与对角正则，内层以前向闭式解拟合当前输入，压缩窗口通常小于通道维，每压缩器仅引入2d可学习参数，可作为现有压缩器的直接替换。

评估条件与数据范围

评估覆盖两类对压缩要求不同的场景。一是块稀疏注意力，压缩摘要须作为忠实的检索键，用于块打分与选择，作者在RULER检索任务上对比传统基线与注意力类压缩器。二是视觉词元合并，压缩摘要须保留忠实的表征，作者在多模态大模型中对比广泛使用的MLP合并器，检验多压缩比下的表现，并报告以更少词元达到相当性能的比例。论文正文与附录还包括效率分析、消融与模型规模和训练预算扩展讨论，均限当日论文同一套受控协议，不涉及其他语言、开放长文本生成或生产负载保证。

作者报告的主要结果

作者称TTR-Compressor在块稀疏注意力上较注意力类压缩器在RULER上取得大幅提升，表明联合拟合的二阶相关有助于去重与保留检索关键信息。在视觉词元合并上，作者称其在多种压缩比下一致超过标准MLP合并器，并以少55.6%视觉词元达到相当性能。作者将此解释为Gram矩阵显式刻画词元相关后，冗余证据的影响呈边际递减而非简单叠加。以上百分比与领先幅度均为作者自有协议下的相对结果，不构成跨架构、跨数据分布或跨压缩比的通用保证，编辑解释是：局部受控领先不等于通用最优。

局限与不确定性

本工作为预印本v1，未经同行评审，结论未经独立复现，不得写成普遍、因果或已获认可的事实。结论限特定RULER检索子集、特定视觉合并协议、特定模型规模与压缩比，不推广到其他稀疏注意力实现、多模态骨干、长上下文生产负载与硬件延迟全貌。55.6%等数字为相对MLP合并器的单次报告，大幅领先等表述为作者结论，缺少独立验证与误差区间披露。作者单位包括高校、企业与独立研究者，效果主张为作者自述。项目页仅作实现参考，未纳入当日核验，不作证据。引用前应核对自身模型结构、压缩窗口与评测集是否匹配。

潜在意义

若后续复现成立，该路线为序列压缩这类信息瓶颈提供了除池化与投影之外的候选算子，提示在稀疏检索与视觉合并中保留原始相关结构可能比增加参数更关键。对关注高效推理与多模态降本的中国读者，可将其视为待验证的候选优化方向，在复现与评审完成前，重点核对RULER子集、视觉合并比例与自身任务是否匹配，而非直接作为选型或上线依据。