本文依据 v1。截至 2026-11-09 已观察到原文 v2；新版尚未纳入本篇结果解释，不能混用不同版本的实验数字。
论文： HarnessMM: Recursive Self-Improvement for Harness Token Efficiency
作者与团队： Yuhua Jiang、Chang Xu、Feifei Gao、Li Zhao；清华大学、Microsoft Research Asia。2026，v1
问题
工具返回反馈后，Agent 经常再次调用模型，重复推理一个其实已经确定的下一步动作。
做法
三个组件配合，运行于模型与工具交互的边界：
- 可执行决策图（EDG）：保存具体的动作、参数、依赖关系和守卫条件。
- 带条件的决策复用（GDR）：在守卫条件满足时，直接复用既定决策，不回调模型。
- 有记录可核验的回调替换（CCS）：通过原生工具接口执行动作，并记录实际跳过了哪些推理回调。
一旦出现需要新的语义判断、或证据不足的情况，就回退到原模型处理。这套配置本身也会跨轮次继续优化。
结果
HumanEval 结果来自作者自定义 33/33/98 划分中的 98 道测试任务：
- Codex 成功率保持 90.82%
- 每任务 token 从 66.72k 降到 47.02k，下降 29.54%
机制对照见论文附录 E 的表 3、4（MBPP 257 TEST，同配置，全量任务）：
| 配置 | Tokens / task | 正确率 |
|---|---|---|
| 完整 HarnessMM | 13.17k | 93.77% |
| 决策图仅使用一次 | 18.03k | 93.00% |
| 保留原推理回调 | 16.37k | 93.39% |
省什么、对照谁、质量是否下降
-
省的是：每任务 token。
-
对照与节省幅度：
- 对照 single-use：节省 26.91%。
- 对照 callbacks retained：节省 19.52%，但该成本差异的置信区间跨过 0。
-
质量：所有正确率差异的置信区间都跨过 0。该实验不足以断言正确率提高，也不能把未检出显著差异当作严格的效果不退步证明。
注意
- 统计口径为每任务一次运行。
- token 总账计入了生成决策图的模型、选择器、恢复流程和失败执行的消耗。
- 上述 token 只计完整任务执行，开发搜索成本另列；token 减少也不等于总现金支出按同比例下降。
更新于 2026-11-09 · 研究方法