结论
北京大学等团队于2026年9月22日公开预印本Harness-Zero,报告以智能体即脚手架方式将优化脚手架诱发的行为蒸馏进模型权重,使部署时仅保留极简目标脚手架仍能保留增益。作者报告在表格知识工作、多应用工具使用和科学逆合成三域上,Qwen3.5-9B宏平均任务成功率从23.3%提升至44.3%,超过保留优化脚手架时的41.7%。以上为作者在受控实验中的结论,尚未经同行评审和独立验证,不能视为普遍或因果事实。
方法与评估条件
该方法分三阶段。第一,演化学生侧脚手架并适配为 harnessing 智能体用的私有参考脚手架,将中间件规则、技能与记忆转化为评审时可用的操作配方与失败模式。第二,训练轨迹采集时学生运行在固定极简目标脚手架下,仅提供一个 Bash 执行工具,harnessing 智能体在每条回复执行前用私有参考脚手架评审,以通过或最小改写方式输出符合目标动作空间的完整回复,评审讨论不进入学生可见轨迹。第三,对评审后的成功轨迹做监督微调,将行为内化进模型参数,部署时移除优化脚手架、私有参考与 harnessing 智能体。免训练对比在前沿大模型上进行,蒸馏评估以 Qwen3.5-9B 为学生模型,采用 LoRA 监督微调。
数据范围与主要结果
评估覆盖三域固定划分:SpreadsheetBench Verified 训练300、测试100,以 pass@1 计;AppWorld 取 test_normal 训练147、测试168覆盖56场景,以 SGC 计;USPTO 逆合成训练500、测试100,以 pass@1 计。作者报告的主要结果为:同一演化脚手架下,前沿模型六组基准模型设置平均 agent-as-harness 为81.1%,直接挂载代码式脚手架为78.1%;Qwen3.5-9B 在极简目标脚手架下宏平均23.3%升至44.3%,相对提升约90.1%,高于基座模型保留优化脚手架时的41.7%;对28种基座缺失但优化脚手架诱发的记忆、技能、工具与中间件行为模式,平均恢复82.3%;受控消融中脚手架引导评审的蒸馏效果为30%,高于直接用更强模型轨迹、优化脚手架下轨迹、无参考评审或仅给答案评审的3%至15%。以上数字均为论文作者报告的基准内结果。
局限与同行评审状态
该工作状态为预印本,尚未同行评审,所有结论待独立复现。验证限于上述三基准、固定任务划分与 Qwen3.5-9B 等受控模型,依赖特定演化脚手架、Tinker 训练配方、Docker 沙箱与 Harbor 任务集,未证明可泛化到其他模型规模、领域、语言或长期部署。行为恢复率为作者挖掘定义的28模式内统计,不等同于通用能力提升。论文未提供生产环境成本、安全边界与失效模式评估,不应直接作为选型或部署依据。
潜在意义
编辑解释:如果后续独立复现成立,该思路提示可将分散的脚手架优化沉淀为模型权重,减少部署时维护多套专用脚手架带来的路由、上下文与运维成本,对需要轻量部署的智能体应用有参考价值。但在复现、安全评估与成本验证完成前,仍应将其视为待验证的研究进展,而非已确认的工程方案。