结论

加州大学河滨分校与欧文分校团队在北京时间2026年10月20日首次公开预印本Same Simulation, Different Evidence，研究智能体脚手架把长工具输出存文件按需读取是否导致答错。作者以美国地质调查局地球化学模拟器PHREEQC与158道执行核验的选择题为探针，对比报告直接内联与按目录检索两种交付方式。作者报告，GPT-5.1与GPT-5.2在检索下准确率分别下降11.3与7.9个百分点，而Claude Opus 4.6、Claude Sonnet 4.6与GPT-5.4净变化接近零；重放全部11007次模拟调用显示，两款GPT算出关键值的频率基本不变，损失在于跳过正式报告、引用自建高精度文件并截断误选邻近选项，作者称之为证据替代。该结论为作者在受控评测中的单次报告，论文为arXiv v1预印本，未经同行评审，需独立复现，不能视为普遍或因果事实。arXiv记录v1提交为2026年10月19日17时57分41秒UTC，对应北京时间10月20日1时57分41秒，落入当日窗口；arXiv当日cs.AI最近列表明确标注Tue, 20 Oct 2026。

研究主体与论文状态

研究主体是智能体上下文管理中的工具输出交付方式，不是新基础大模型发布。论文题为Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy，作者为Ke Zhang、Sahchit Chundur、Jerry Peprah Owusu、Mohammad Javad Abdolhosseini Qomi与Maziar Raissi，归属为加州大学河滨分校与加州大学欧文分校。学科为cs.AI，版本为v1，未标注会议接收或期刊评审结论，编辑按预印本处理。同一工作暂无满足当日门槛的独立交叉来源，正文严格区分作者结论与编辑解释。

方法与评估条件

作者固定使用PHREEQC 3.8.6与作者提供的phreeqc.dat，报告最长达846.8k字符，结构分节。每道题描述一套模拟配置并追问输出中的一个量，数值干扰项通常只差最后一位打印精度，必须算出才能区分。智能体在隔离工作区内最多24步，工具仅为写文件、读文件、列文件与执行PHREEQC，报告中数量按选项精度打印，自建SELECTED_OUTPUT文件则打印更多位数。条件差异仅在执行后返回什么：Raw100k直接返回至多10万字符的报告截断，TOC只返回元数据与分节目录由智能体按行段读取，另设关键词搜索与混合条件对照。评测模型为Claude Opus 4.6、Sonnet 4.6、GPT-5.4、GPT-5.2、GPT-5.1与Gemini 3 Flash Preview，均经API调用；直接问答与无工具思维链作为无工具基线。作者对全部5773条完整轨迹重建输入并离线重跑，共11007次模拟调用，按生成、送达、闭合三阶段定位损失，并以Shapley分解归因。

数据范围

原始池200题经逐题重执行筛选，仅保留打印值与 key 选项精确唯一对应且收敛设置下稳定的158题，来自19套配置，42题经出题人确认为缺陷题后剔除。主结果使用158题，其中137题为数值题。每个模型各有内联与目录 headline 运行，GPT与Sonnet另有重复运行；33道超长报告题共用一次固定索引。冻结模拟对照在131道数值题上固定首次成功的执行，仅切换交付方式后继续作答，以分离计算与读取的影响。Gemini因近半数无解析答案被排除出后续分析。

主要结果

作者围绕模型差异、损失位置与干预效果报告结果。第一，检索成本取决于模型：合并每次运行后，TOC相对内联在GPT-5.1上为负11.3个百分点，在GPT-5.2上为负7.9个百分点，Claude两款与GPT-5.4为负0.6至正0.2个百分点且区间含零；关键词搜索不优于目录检索。第二，损失在读取不在计算：两款GPT在各接口下算出关键值的比例基本一致，构建项差异在2个百分点内；冻结模拟仅改交付时GPT-5.2仍下降9.4个百分点。第三，证据替代是具体机制：目录下GPT-5.2与GPT-5.1分别在60.3%与53.0%轨迹中未读正式报告，多转而读自建文件；当所见值仅以更多位数出现时，两者正确率仅72.5%与66.3%，而以报告精度看到时几乎全对，典型错误为把2.75065截断为干扰项2.750。第四，GPT-5.4的零净效应掩盖损失：其同样存在约十个百分点的证据使用损失，但检索下算出关键值更频繁而相互抵消。第五，指明权威输出可修复闭合损失：要求只答自报告使跳过率降至2%以下、闭合率达99%，三款GPT较纯检索提升6.3至7.9个百分点；能放下时直接内联效果相当，仅要求正确舍入无效。以上均为论文内受控对比结果，未经独立验证。

  • GPT-5.1检索下准确率降11.3个百分点，GPT-5.2降7.9个百分点，Claude两款与GPT-5.4净变化接近零；11007次重放显示算出关键值频率不变，超五成检索轨迹跳过正式报告并引用自建高精度文件；指明答自报告使三款GPT提升6.3至7.9个百分点，闭合率达99%。

限制与评审状态

该工作为arXiv v1预印本，尚未经过同行评审，所有领先性与机制表述均为作者自述，未经独立验证。评估限PHREEQC单一确定性模拟器、158题与19套配置，未覆盖日志、搜索结果等其他长工具输出的普遍情况。模型固定于特定版本与解码设置，Claude为零温度无扩展思考，GPT与Gemini为API默认，对照表现随版本、提示与推理设置变化，不构成通用能力排名。交付方式限作者定义的内联截断、目录、关键词与混合条件，真实脚手架的成本、延迟与超长截断差异尚未量化。数值匹配与阶段标注经人工抽查52/58一致，但仍依赖作者的执行核验流程。局部基准结果不得扩写为行业普遍结论。

潜在意义

编辑解释：若后续复现成立，该工作提示评估智能体脚手架不应只看最终准确率，还需区分算不出、没看到与看到仍答错；把长输出存文件按需读取时，应明确指定权威证据并优先内联能放下的报告，而非仅依赖模型自行取舍。但在同行评审与跨工具、跨模型、真实任务验证完成前，不宜将其视为已确立的通用设计准则，也不宜直接指导选型或采购。读者可将其理解为一次有明确边界的方法提示，而非对上下文管理问题的最终解决。

时效与来源说明

本文关键事实仅来自arXiv当日论文页，未为补充背景抓取往日页面。arXiv摘要页明确给出标题、作者、摘要结论、学科分类与带时区的提交历史，可换算为北京时间当日；arXiv当日列表确认该批次归属Tue, 20 Oct 2026；全文HTML补充机构归属、PHREEQC版本、158题筛选、11007次重放与三阶段归因细节。同一工作暂无满足当日门槛的独立交叉来源，因此正文严格区分作者结论与编辑解释，并标注未经独立验证。媒体决策为not_applicable，本文类型无媒体字段，未臆造图表与图片。