论文：Elicitation or Expansion? Demystifying Gains from Agent Harness Optimization
作者与团队： Younghyun Kim、Wooseok Seo 等；FuriosaAI、延世大学、加州大学伯克利分校。2026，v1
结论先看
Harness 优化可以带来真实收益，但平均成功率提高，不足以证明可解任务范围也扩大了；还要看尝试预算、任务难度和迁移表现。
问题
单次成功率上升，有两种可能的解释：
- 模型已有的能力被更稳定地激发出来（elicitation）；
- 可完成的任务范围真正扩大了（expansion）。
做法
- 固定求解模型，比较优化前后的 Harness。
- 对每个 Harness 做多次完整运行，得到 pass@k 曲线。
- 按题目难度分组，与更大的模型、更高的推理预算作对照。
观察不同尝试预算下的曲线及成功任务集合，可以判断收益更偏向稳定性还是任务覆盖；有限次数的测试只能支持相应范围的结论。
结果
在 HotpotQA 上优化 Qwen3-8B，以 Qwen3-32B 基线作参考。在困难任务子集上，以下 Harness 均未超过 32B 参考：
- 两个选定的 Harness
- 一次优化运行产生的 40 个候选
先分清比较对象
判断优化是否有效，要比较优化后的 8B 与原始 8B；比较 32B 则是在看它能否追上更强的参考系统。未超过 32B，不等于对 8B 没有改进。
读图方法
横轴 k 是每道题的尝试次数，纵轴 pass@k 是最多 k 次尝试中至少成功一次的任务比例。H₀ 表示原始框架，H⋆ 表示选中的优化框架。这里的 k 不是演化轮数，也不是连续修改同一份答案的次数。
选中版本的对比（原论文图 5）
右下角是困难任务：两条红线代表两个选中的 8B 优化版本；它们提高了单次成功率，但在图中测试的尝试次数下仍低于 32B 原始框架（虚线）。
全部候选的对比（原论文图 8）
细灰线是同一次优化运行中的其他候选，红线是选中版本；合计 40 个候选在困难任务上都未超过 32B 参考。部分候选在多次尝试时优于选中版本，说明按单次表现选出的版本未必最适合更大的尝试预算。
两图均请在原论文中查看；本站保留读图说明，不重绘或托管原曲线。
图像版权归原作者；此处为结果解读引用原论文图的局部内容，四子图改为两列，曲线、坐标与图例保持原样。
适用范围
结论限于文中评测的任务、模型、优化运行与尝试预算，不能推广为“所有 Harness 优化都无法扩展能力”。
更新于 2026-11-09 · 研究方法