结论

约克大学与得州大学达拉斯分校团队在 Asia/Shanghai 9月24日首次公开预印本SWE-Flux，检验大语言模型能否在真实仓库上下文中推理程序运行时行为。作者报告，在12个真实Python仓库、480个执行锚定实例上，5个开源与闭源模型中最强者准确率仅37.71%，其中运行时数据流类别仅6%。以上为作者在受控评测中的结论，为预印本v1未经同行评审，也未经本站独立验证，不应视为模型编码能力的普遍定论。

方法与评估条件

论文提交记录为2026年9月23日17时46分50秒UTC，对应北京时间2026年9月24日01时46分，收录于arXiv 9月24日公告批次，满足当日首次公开门槛。研究对象是仓库级动态执行推理，而非静态代码理解。作者构建两层分类：先区分单测执行与多测聚合，再覆盖过程内控制流、过程间控制流、循环与时序、程序状态、数据流、异常、程序不变量七类行为。每个实例锚定一次具体测试或测试套在固定仓库版本上的插桩执行，金答案由执行自动采集为确定性JSON，而非人工撰写或模型裁判。12个仓库包括sympy、matplotlib、keras、yt-dlp、xarray等真实项目，环境固定可复现。评测对象为5个开源与闭源大模型，含GPT-5.4等，问题为固定预算的文本问答并以确定性校验器判定。

主要结果

作者围绕三个问题报告结果。第一，最强模型整体准确率仅37.71%，模型在程序不变量、局部过程内控制流、异常行为上相对较好，在过程间执行与套件级聚合上明显较差，运行时数据流最难，最强模型仅6%。第二，对最强模型299个错误的人工检查显示，93%为实质语义失败而非格式或小数误差，常见模式包括丢失执行边界、编造未执行行为、遗漏次要路径、算错运行时状态、以少数测试外推代替全套聚合。作者还发现正确路径不保证状态正确，静态先验会覆盖运行时证据。第三，基于输入扰动的 oracle 采集流水线可在58个抽取实例中为52个成功采集有效变体，采集率89.7%。新变体将引导用的GPT-5.4从所选原实例上的100%降至43.1%，未参与引导的Gemma4与GPT-OSS从约47%至48%降至24.1%，显示难度提升可跨模型家族迁移。

  • 12仓库480实例均锚定真实测试插桩执行，覆盖单测与多测七类运行时行为；5模型中最强仅37.71%，数据流类别仅6%，局部不变量与异常相对较好；299个错误中93%为语义失败，表现为边界丢失、虚构执行、遗漏路径与状态误算；扰动流水线52/58采集成功率89.7%，新变体使GPT-5.4从100%降至43.1%，迁移模型从约47%降至24.1%。

局限与适用边界

本研究为预印本v1，未经同行评审，所有数字限本次冻结流水线、特定仓库版本与5个受测模型版本，不得推广为全部模型或全部软件工程任务的普遍结论。数据范围限12个Python仓库与480实例，语言、框架与仓库风格有限，闭源、多语言与大型单体仓库行为尚未验证。金答案依赖插桩执行与容器化固定环境，依赖缺失、外部服务与配置差异可能影响复现。扰动变体仅在58实例子集上验证，新变体虽更难但行为多样性、长期抗污染与人工难度校准仍待验证。评测为离线问答，未度量智能体在可执行环境中主动选择执行、解读 trace 并修复缺陷的端到端能力。

是否同行评审与潜在意义

截至核验时，该工作状态为预印本，arXiv页面明确为v1，无会议或期刊接收信息，编辑将其归为预印本而非已获同行认可的事实。若后续能被独立复现，其意义在于为编码智能体补上一块可操作评测：从只看生成与静态问答，转向检验跨文件调用、数据依赖与中间状态重建，调试、测试优先级、安全分析与变更影响分析可直接引用其七类切分定位短板；扰动再采集方法也为防止基准泄漏提供一条低成本刷新路径。实际采用仍需在自有仓库分布上重测，并保留可执行沙箱与人工复核，中国读者参考时应注意仓库均为英文开源Python项目，与国内工业仓库迁移性尚未验证。