结论

罗切斯特理工学院与英伟达团队在北京时间2026年10月20日首次公开预印本LatComm，研究多模型协作中同一上下文被反复文本传递造成的重复计算问题。作者提出可复用上下文压缩与隐式通信接口LatComm，将上下文一次性编码为固定大小数据包，再由另一冻结大模型按问题按需读取。作者报告，在12个多选题问答数据集上较单向量基线平均最高提升10.2分，在QuALITY上接收端输入减少57倍、同篇文章全部问题回答快3倍。该结论为作者在受控评测中的单次报告，论文为arXiv v1预印本，标注Under Review，未经同行评审，需独立复现，不能视为普遍或因果事实。arXiv记录v1提交为2026年10月19日17时58分41秒UTC，对应北京时间10月20日1时58分41秒，落入当日窗口。

研究主体与论文状态

研究主体是连接两个冻结大模型的上下文通信接口，不是新基础模型发布。论文题为LatComm: Reusable Context Compression for Latent Communication between Large Language Models，作者为Huawei Lin、Jinting Liu、Tan Yu与Weijie Zhao，归属为罗切斯特理工学院与英伟达。学科为cs.CL与cs.AI，版本为v1，附注17页、9图、11表，明确标注Under Review，编辑按预印本处理。同一工作暂无满足当日门槛的独立交叉来源，正文严格区分作者结论与编辑解释。

方法与训练条件

LatComm将通信分为无问题编码与有问题读取两步。编码侧冻结上下文编码器只读上下文，学习到的压缩器经跨注意力把各层隐状态汇聚为每对固定数量、低维槽位，组成压缩数据包，一次计算后存储复用。读取侧冻结接收模型经插入的跨注意力读取数据包，门控由接收端提示状态汇总与槽位比较生成，按层、按槽、随问题变化控制各槽贡献。两端大模型全程冻结，仅训练压缩器、读取器与门控。训练分两阶段：第一阶段以复述上下文的重构损失训练全部接口参数，使数据包保留可被多问题使用的信息；第二阶段固定压缩器，仅以任务损失训练读取器与门控，使此前存储的数据包在任务训练后仍然有效。

数据范围与评估条件

第一阶段使用WikiText-103与FineWeb-Edu中200万英文段落做重构训练。第二阶段使用12个带上下文的多选题数据集：CLOTH、Cosmos QA、HellaSwag、LogiQA、MCScript2.0、MuTual、OpenBookQA、QuALITY、ReClor、SciQ、SocialIQA与SWAG，并以未参与训练的RACE、DREAM与QuAIL做留出检验。预测方式为首个回答位置上有效选项字母对数最大者，报告各集准确率及任务平均与留出平均。模型配对共六组，接收端主要为Qwen3.5-0.8B，编码器为同体或更大的Qwen3.5-4B、9B，另有Qwen3.5编码加Gemma-3-1B-pt接收，以及Granite-4.1-8B编码加Llama-3.2-1B接收等跨家族组合。默认包为24或26层对、每对32槽、槽宽256，以bfloat16计约384至416KiB。对照包括未训练原文、仅问题、无上下文信息的固定包，以及xRAG与嵌入向量等压缩上下文基线。

主要结果

作者围绕一次编码多问题复用、固定预算下信息保留与跨尺寸跨家族通信报告结果。以Qwen3.5-0.8B为接收端，LatComm在12任务上任务平均65.43，超最强基线61.98，在11个数据集上为压缩方法最优；留出平均49.76，超基线46.70，且三个留出集全部最优。较同样结构但无上下文信息的固定包，任务平均高5.2分、留出平均高6.4分，显示增益来自数据包携带的上下文信息。跨家族组合中，Qwen3.5-9B编码加Gemma-3-1B-pt接收达任务平均59.00，超基线55.46，留出平均46.63超基线40.59。效率上，接收端每题计算不再随上下文长度增长，默认包固定为384KiB量级；在QuALITY上作者报告接收输入减少57倍、同篇文章问题回答快3倍。以上均为论文内受控对比结果，未经独立验证。

  • 12任务平均65.43超基线61.98，11/12集最优；留出平均49.76超基线46.70，三集全部最优；跨家族Qwen9B加Gemma组合任务平均59.00超基线55.46；默认数据包约384KiB，QuALITY输入减57倍、回答快3倍；六组同尺寸、异尺寸与跨家族配对均可连接。

限制与评审状态

该工作为arXiv v1预印本，标注Under Review，尚未经过同行评审，所有领先性表述均为作者自述，未经独立验证。评估限作者选定的多选题问答任务与英文重构数据，未覆盖开放生成、长程智能体、多模态与真实部署中的普遍通信能力。含LatComm在内所有任务训练方法在留出集上均低于未训练原文基线，任务训练后的跨数据集迁移仅部分成立。评测固定于Qwen3.5、Gemma-3、Llama-3.2与Granite-4.1等六组配对及默认包尺寸，对照表现随版本、提示与解码变化，不构成通用能力排名。读取器与门控的额外计算、包存储管理与失败模式尚未充分量化，代码与复现可用性未经本站当日核验，不作可用性承诺。局部基准结果不得扩写为行业普遍结论。

潜在意义

编辑解释：若后续复现成立，该工作提示多模型分工不必每次都重传全文，可用一次编码的固定数据包加按问题门控读取，在一文多问场景下减少重复计算，并为异尺寸、异家族模型协作提供可复用配方。但在同行评审与跨任务、跨骨干、真实任务验证完成前，不宜将其视为已确立的通用事实，也不宜直接指导选型或采购。读者可将其理解为一次有明确边界的方法提示，而非对上下文复用问题的最终解决。

时效与来源说明

本文关键事实仅来自arXiv当日论文页，未为补充背景抓取往日页面。arXiv摘要页明确给出标题、作者、摘要结论、学科分类与带时区的提交历史，可换算为北京时间当日；全文HTML补充机构归属、两阶段方法、六组配对、12加3数据集构成与对照细节。同一工作暂无满足当日门槛的独立交叉来源，因此正文严格区分作者结论与编辑解释，并标注未经独立验证。媒体决策为not_applicable，本文类型无媒体字段，未臆造图表与图片。