HarnessPro：在质量—成本前沿上分档选择 Harness

论文： HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs

作者与团队： Zhuoshi Pan、Zhiyuan Feng 等；清华大学、Z.AI、上海交通大学、Warwick、Kling AI 等。2026，v2

问题

提高任务分数常常依靠更深的探索或更多的验证，费用也随之上升。

做法

1. 分析：分析执行轨迹。
2. 制订修改：按质量 / 成本偏好制订修改方案。
3. 实现与评价：实现候选版本，用模型生成的测试来评价。
4. 分档选择：将质量和成本归一化后，按 lite / medium / heavy 各档的权重计算加权平方距离，选出对应版本。
5. 形成可选版本：多轮迭代后，为不同预算返回对应的 Harness。最终效果由官方测试评价。

结果

（GPT-5.5 + Codex，Terminal-Bench 2 的 59 道留出测试任务，Table 2；Heavy 为三次运行的均值 ± 样本标准差）：

版本	成功率	每任务执行费用
Vanilla	69.5%	$0.89
RHO + Iteration	76.3%	$0.82
HarnessPro Heavy（3 runs）	80.8 ± 1.0%	$0.72 ± 0.05

省什么、对照谁、质量是否下降

• 省的是：每任务执行费用。

• 对照与节省幅度（两个基线不能混用）：

  • 对照 RHO（76.3% / $1.09）：节省 33.9%。
  • 对照 RHO + Iteration：仅节省约 12.2%。

• 观察结果： Heavy 的平均成功率高于上述两个基线。

注意

• 这里的费用只是每任务执行成本，不包含整个搜索过程的成本。
• 训练阶段不使用官方答案或官方测试，最终评估使用官方测试。

返回 RSI 专题 · 检索论文与资料