结论
Simular主导、加州大学圣塔芭芭拉分校、康奈尔大学与卡内基梅隆大学参与的预印本Evolving Agent Interfaces报告了自主计算机使用科学家Agent S4。作者称,该方法将接口设计本身作为智能体能力,从无成功标签的合成任务轨迹中演化可复用接口仓库,在OSWorld V2上以Qwen3.8-27B达到21.3%二值成功,为开源最优,约为同模型固定接口的3.8倍,并超过作者报告的GPT-5.5的13.0%与Claude Opus 4.8的20.6%,成本分别约为其4.3%与1.5%。这是作者在受控评测中的结论,尚未经同行评审,也未经本站独立复现,不应视为普遍成立的行业事实。论文提交时间为协调世界时10月20日17时47分,对应北京时间10月21日1时47分,列入arXiv10月21日当日目录,符合当日窗口。
方法与数据范围
按作者描述,核心是将计算机使用接口表示为持久仓库,包含可执行接口与何时如何使用的知识,任务智能体的模型与harness保持固定。元智能体研读任务智能体在合成训练任务上的轨迹,在无验证标签条件下通过变异与交叉构造后代仓库,再以元智能体未见过的验证任务分数做基于种群的选择,保留父代以支持重组,偏好能泛化的改动。作者称训练证据与选择证据分离,元智能体不见任何基准任务,验证任务仅影响选择。数据范围为作者自定的合成训练与验证划分,以及完整评测用的OSWorld V2共108项任务与覆盖小众科学应用的ScienceBoard,基座固定为Qwen3.8-27B,代码已在仓库中开源Agent S4实现。
结果
作者报告,在上述设定下,演化仓库使Qwen3.8-27B在OSWorld V2完整集上达21.3%二值成功,作者称这是开源计算机使用智能体的新最优,并高于GPT-5.5与Claude Opus 4.8的同期对照分数。在另一轮ScienceBoard演化中,同模型成功率从人类设计接口的41.4%升至58.6%。作者还报告了与线性演化等基线的对比,以及是否给元智能体提供可试错沙箱虚拟机的影响,并对演化接口做了桌面级、应用内、跨应用与任务特定的分类与案例。以上均为作者在自选基线、实现与成本计量下的报告结果,存在任务划分、预算与价格假设的影响。编辑解释:这些数字只说明在该论文设定下的相对表现,不代表在其他基座、桌面版本或生产任务中必然复现,成本比例为作者口径而非独立计费结论。
局限与评审状态
该工作为预印本技术报告,未标注会议接收或同行评审信息,应视为待验证的研究进展。结论限OSWorld V2的108任务与ScienceBoard特定科学应用、固定Qwen3.8-27B与固定harness,未覆盖开放域长程办公、中文应用生态或生产流量分布。成本与倍数结论依赖作者的任务预算、调用计费与实现,更换模型价格、硬件或重试策略后结果可能变化。演化依赖合成任务构造与验证划分,若合成分布偏离目标分布,泛化增益可能收缩,长期维护与仓库膨胀成本未充分评估。运行需要代码执行与桌面控制权限,安全隔离、权限边界与误操作风险需另行评估,不得直接用于生产部署。读者应将其视为特定条件下的研究信号,而非已确认的产品能力或通用结论。
潜在意义
若后续能独立复现,该思路可能降低计算机使用智能体的人工接口调参成本:不再为每类任务手写原语与观察格式,而是从任务经验中演化可复用接口与使用知识,并以验证选择抑制过拟合。对中国用户的编辑提示是,可关注其后续开源仓库的复现文档与第三方在中文桌面与网页任务上的测评,但在同行评审与独立验证出现前,不宜将其直接用于选型或生产决策。本站将继续以当日可核验进展为准,不补发往日研究。