AI Agent Harness 自进化神话破灭

寂静回声

最近论文和开源项目都在炒一个概念，Harness 自进化（Automatic Harness Evolution），核心说法是人类手动打磨 Harness 已经过时，应该让 Agent 自己当元架构师，观察失败轨迹、改系统提示词、加工具、写中间件，完成所谓的递归自我改进（Recursive Self-Improvement），各大基准上自进化 Harness 动辄宣布跑分暴涨 15%、20%，看起来通往超级智能的最后一块拼图已经拼齐。
AI2（Allen 人工智能研究所）和华盛顿大学团队刚公开的论文《Rethinking the Evaluation of Harness Evolution for Agents》（arXiv: 2607.12227），给这类跑分补上了早就该有的对照组，结论对自进化路线相当不利，同等算力预算下自进化 Harness 基本打不过最朴素的并行采样和串行纠错，换到没见过的新题上涨幅几乎归零，下面把这篇论文的实验和证据捋一遍。

论文的切入点是两个之前被普遍忽略的评测硬伤：
1. 算力不对等，现在的自进化方法（Meta-Harness、AHE、AEVO 等）本质是多轮搜索算法，让 Agent 跑一遍测试集、看报错反馈、改一版 Harness、再跑一遍，循环往复，这就是推理期搜索（Test-Time Scaling），那同样的算力预算，比如 5 次任务的 Token 消耗和反馈次数。
如果直接给最朴素的基线，同一任务并行跑 5 次挑最好的，或者按报错连续改 5 次代码，能拿多少分，之前的研究几乎不比这个，直接拿搜过很多遍的结果跟只跑 1 次的原始基线比，相当于开卷考跟交卷早的人比分数。
2. 搜索题集和测试题集没有隔离，大量论文直接在 Terminal-Bench 这类公开基准上边搜边评，最后炫耀的高分还是在搜过的那批题上取得的，于是分不清 Agent 到底是在总结普适的软件工程规律，还是把这几十道题的答案和解题特判偷偷硬编码进了 Harness。

为了把这两个问题讲清楚，团队做了严格的对照实验。把统一的 5 倍计算预算花在 4 种策略上：并行采样（Parallel Sampling），Harness 不动，同一任务独立跑 5 遍挑最好的解；串行纠错（Sequential Refinement），Harness 同样不动，第一遍做错就按报错在下一轮继续改代码，连续改 5 轮；Harness 自进化（Harness Evolution），把算力花在跨任务积累经验上，让 Meta Agent 动态重写系统提示词和中间件；单任务 Harness 缩放（Harness Scaling），这是团队提出的探针对照组，针对单道题反复改 Harness 试错。测试平台是命令行基准里最硬核的 Terminal-Bench 2.1，模型用 Claude Opus 4.6、GPT-5.4 和 GPT-5.4 mini。

现实里多数任务没有现成单元测试当反馈信号，Agent 只能靠自身推理和自省判断好坏，在这种没有外部裁判的场景下，4 种策略的平均 pass@1 如下：
最稳的是技术含量最低的并行采样，平均分从 68.2 提到 72.3，在三个模型上全部上涨，而被包装得神乎其神的 Harness 自进化只有 67.4，反而低于什么都不改的初始 Harness（68.2），GPT-5.4 更是从 75.3 跌到 69.7，掉了 5.6 分。原因并不复杂，模型拿不到客观对错信号时，自我反馈里混着大量幻觉和噪声，这时候让它改代码，顶多废掉这一题，但放权让它大改全局的系统提示词，它就会把错误认知当成经验沉淀下来，早期错误层层累积，反而把原本能力不错的模型带偏。

第二组实验对所有方法开放完整单元测试反馈，既当纠错指南又当结果裁判。结果自进化还是全面落后，pass@1 最高的是并行采样，均分 86.0，Harness 自进化只有 75.8，pass@5（跑 5 次有一次对就算通过）最高的是串行纠错，均分 91.8，Harness 自进化只有 86.2。
这说明以往自进化论文里的跑分暴涨，很大程度上来自多试几次的抽样红利，模型碰巧撞上了正确答案，却被记到了新 Harness 的功劳簿上，真有 5 倍算力预算，老老实实让 Agent 多跑几遍或顺着报错多改几遍代码，性价比远高于折腾 Harness 自重构。

泛化性测试把 Terminal-Bench 2.1 严格切开，45 道题做训练集，10 道做验证集，剩下 34 道作为完全隔离的盲测集（Held-out Test），Meta Agent 在训练集上充分进化出一套它最满意的终极 Harness，再原封不动搬到 34 道新题上跑。
训练集上表现亮眼的自进化 Harness，到了新环境平均只涨了 0.6 分，GPT-5.4 是 +0.0，这基本坐实了目前的自动 Harness 进化主要是在特定题集上背题和过拟合，离开刷题环境，那些看似高深的改动立刻失效。

论文第 5 节顺着代码和日志逐轮复盘了 Meta Agent 的改动，大致是 3 类操作。
某道题超时了就加一句请注意预算、尽早交付，某道题改坏了文件就加一句操作前先备份原始文件，某道题漏了要求就加一句完工前重读约束条件，这类叮嘱越堆越多，系统提示词严重臃肿（Context Bloat），有效上下文被挤占，模型读完一长串规矩后注意力反而被分散，面对新题更加手足无措。
提示词打补丁遇到瓶颈后，它开始改中间件和工具，比如发现某道题装包慢，就在 Bash 工具里单独给这个包放宽超时，发现某个任务反复查环境，就把命令打包成批处理跳过检查，甚至把具体题目的文件路径和配置模板塞进持久记忆，这跟考前把公式抄在手心上没有区别，对做过的题效率奇高，换到别的环境不仅无用，还可能因路径冲突直接报错。
让顶级模型在 Terminal-Bench 上翻车的，通常是复杂领域逻辑推理和长链路系统状态推演，卡的是模型本身的底层推理能力天花板，外部 Harness 再怎么改提示词、换中间件，也不可能凭空注入模型本来就不具备的知识，所以自进化改来改去，只是让模型在本来就会做的简单题上少踩几个坑，难题面前依旧一筹莫展。

这篇论文否定的是把 Harness 扔给 AI 自己改、就能无痛递归自我进化的想法，不是 Harness 本身的价值，人类优秀的工程设计在 Agent 时代反而更稀缺。好的 Harness 是对真实软件工程的深刻抽象，比如 Can Bölük 的 hashline 用微型哈希索引把文件编辑从全文比对里解放出来，比如 Pi Agent 对工具调用的极简设计，再比如企业场景里针对复杂鉴权和长链路回滚做的沙箱，这些架构级突破来自顶尖工程师几十年的系统经验，不是大模型看几次报错就能概率输出瞎碰出来。
手里如果有额外的推理算力（Inference Compute Budget），更明智的花法是投到任务本身的解空间搜索上，没有外部反馈时多做并行采样、让模型自我评判，收益最稳。有测试反馈时让模型顺着报错链路深度纠错，通关率最高。把算力拿去跑元循环让 AI 改 Harness，多数时候只是在为过拟合买单。