结论

清华大学团队于北京时间2026年10月22日首次公开预印本LongZero：让待训大语言模型在零外部数据条件下自写长上下文训练任务，再以可验证奖励强化学习提升长上下文推理。作者报告在两个基座模型、五个长上下文推理基准上可泛化到真实任务，并优于两类基于外部语料的合成数据基线。该结论来自作者受控评测，为预印本未经同行评审，需独立复现，不宜视为普遍事实。

研究对象与方法

论文针对长上下文强化学习的数据瓶颈：有用数据需同时满足长度、证据检索整合、难度与可自动验证，而人工标注贵、自然数据稀缺，既有方法依赖外部语料或更强教师模型。LongZero反转生成顺序，先由待训模型以紧凑结构化形式写出问题、支撑证据与答案，再将证据分别扩展为长多文档上下文，答案在长文本出现前即固定，降低长文本编题与校验不可靠的风险。任务分两类：需跨八篇模型自写文档找事实、排干扰并多跳作答的推理任务，以及需在模型自写长对话中定位复现特定早前回复的多轮检索任务。训练时对同一推理题多次作答，仅保留时对时错、可给组相对策略优化提供非零学习信号的题目，再以GRPO训练。

评估范围与结果

作者称在两个大语言模型上做验证，覆盖五个长上下文推理基准，并与两类基于外部语料的合成数据基线对比。论文报告LongZero能从自生成任务泛化到一般长上下文推理任务，在所测基准上优于两类基线，显示不依赖外部文档库与教师模型仍可获得提升。原文摘要未在公开摘要层给出逐基准数值，编辑未将其补写为具体涨幅；效果应理解为作者在限定配方与评测集上的报告，而非跨模型、跨任务的普遍提升。代码与数据据称已在GitHub公开，但本文未将仓库提交时间作为当日证据，仅以arXiv当日版本为准。

限制与未验证事项

本工作为arXiv v1预印本，未经同行评审，方法细节、超参与算力配置与完整结果需查阅全文并经第三方复现。评估限两个基座模型与五个基准，受控评测结论不宜推广到所有长上下文场景。自生成虚构世界与真实长文档分布仍有差距，证据扩展环节仍可能引入不一致，难度筛选依赖模型自身多次作答的稳定性。与外部语料基线的对比限作者自建的两类配方，基线强度、数据量与训练预算是否完全对齐需进一步核对。涉及的长上下文基准本身的污染、语言覆盖与评测方差也未在本摘要层完全说明。

意义与下一步

若后续复现成立，LongZero提供了一条减少对外部长文档与强教师模型依赖的思路：先固定答案再扩展上下文，并以推理加检索两类自写任务互补。这对长上下文数据稀缺时的强化学习有实用参考价值。中国读者可将其视为研究方向信号，而非可直接部署的结论。下一步值得关注独立团队在更多基座、更多公开基准与更长上下文长度上的复现，以及自写任务质量控制与扩展错误率的量化分析。