收益到底属于谁

RRSI 篇讨论的是：约束搜索过程能减少对演化任务的特化。它留下一个没有回答的问题——被约束保住的收益，究竟属于这组任务、这个模型、这个预算，还是属于 harness 本身。

2026 年 10 月的一批工作从四个方向切这个问题。HarnessPro 把成本作为第二个优化目标，输出三档 harness；MaD-RSI 把多个模型的失败轨迹当成同一份训练证据；HarnessMM 直接削减“已经想清楚的决策”所引发的重复推理；Elicitation 则回头问：涨的那几个点，是让模型更可靠，还是让可解任务集合变宽。四篇论文的原文版本与访问日期见各节链接，本文只依据这些全文，没有运行其中任何实验。

比较这些工作时，需要同时记录 harness 的代码或配置、基础模型、任务分母、尝试预算和成本边界。四篇的实验条件不同，本文比较机制与证据结构，不把分数放在同一张排行榜上。

固定维度对照

四个系统不构成同一坐标系里的四个点。下表用固定维度并排，是为了看清各自的证据结构，不是排序。

维度 HarnessPro v2 MaD-RSI v1 HarnessMM v1 Elicitation v1
优化对象 harness 代码 + 三档预算策略 一份共享 harness 推理调用的触发时机 不优化，只诊断
谁读什么 分析器读 G=3 条轨迹与指标 规划器读跨模型对齐的轨迹片段 控制器只读公开回执 分析者读 pass@k 曲线
改哪里 独立 workspace 内改 harness，提交 Git 改共享 harness 代码 增加动作图与回执驱动控制器 无
评价信号 搜索用固定的 LLM 生成测试，最终结果用官方测评 任务评分器 任务评分器 + 回执审计 任务评分器，多次重复
跨模型证据 两个模型各跑一遍，不共享 四个模型同时进入训练证据 每对比较内固定 backbone 与更大模型或更高 effort 对照
成本口径 测试集每任务 token 计价 相对四次独立优化之和 完整 episode，含动作图生成与回退 未折算成本，用 k 表示预算
被继承的东西 三档 harness + 演化出的 profile 规则 一份可在四个模型上独立使用的 harness 动作库与守卫谓词 诊断协议本身

对照表暴露的第一件事：只有 MaD-RSI 真正让“换模型”发生在优化过程中间。HarnessPro 用两个模型跑同一套流程，得到两份独立产物，这是重复而非跨模型；Elicitation 把换模型当作外部参照系；HarnessMM 则在每对比较内部把 backbone 钉死。

贯穿例子：一个会失败的测试仓库

后面的机制都需要一个具体场景才说得清。这个例子是本文构造的，不对应任何论文的实验设置。

设仓库有三个测试文件，初始时恰有一个失败。任务族是“修好它”。可改的 harness 记作 H，它决定：先读哪些文件、跑哪条命令、失败后重试几次、何时停止。模型记作 π，权重固定。预算记作 b，即工具调用上限。

H₀ 的做法是：全量跑 pytest，读 traceback，编辑，再全量跑一遍；若仍失败，最多重试三次。这个流程在两个地方浪费。第一，可以先重跑失败文件以获得更快的局部反馈，但提交前仍要做必要的回归，不能假定其余文件不受改动影响；第二，编辑动作一旦确定，pytest tests/test_x.py 这条命令及其字面参数其实已经被前一次推理固定，剩下的只是“等编辑回执，确认文件存在，然后执行”。前者是预算浪费，后者是重复决策。

现在把三个变量逐个动一下。把 π 换成一个更弱的模型，“每次失败都重试三次”的期望代价会上升，而同样的重试策略对强模型可能划算——这是换模型的轴。把任务换成“三个测试文件全绿后再加一个新函数”，同一个 H₀ 的成本结构完全变了——这是换任务的轴。把 b 从 60 次调用压到 15 次，H₀ 来不及收敛——这是换预算的轴。四篇论文各自只覆盖其中一两条。

质量-成本前沿：两个数字怎么算出来

HarnessPro 的主结果在原文表 2。摘要里的“平均涨 2.0 个百分点、每任务成本降 26.1%”，指的是 heavy 档相对 RHO、在 GPT-5.5 × Codex 下的三个基准固定测试集上的算术平均，不是任一单项，也不是 pooled 成本比。

逐项列出：Terminal-Bench 2 测试集 59 题，80.8±1.0 对 RHO 76.3，成本 $0.72 对 $1.09，降 33.9%；SWE-Bench Pro 测试集 100 题，80.7±0.6 对 80.0，$1.97 对 $2.68，降 26.5%；ProgramBench 测试集 100 题，69.6±1.03 对 68.8，$2.95 对 $3.59，降 17.8%。三点涨幅 (4.5+0.7+0.8)/3 = 2.0，三个相对降幅 (33.9+26.5+17.8)/3 ≈ 26.1，与摘要一致。

这里有三处必须同时保留的边界。其一，如果把三个基准的成本直接相加再比，是 ($1.09+$2.68+$3.59) 对 ($0.72+$1.97+$2.95)，降幅约 23.4%，与 26.1% 不是同一个量：后者等权平均各基准的相对降幅；前者对三项每任务均值求和后取比例。若要计算所有任务合并后的成本，还要考虑各基准的题数，不能将二者直接称为 pooled 成本。其二，ProgramBench 的 P 是该任务通过测试比例的宏平均，与另两个基准“全部测试通过才算过”不是同一语义，三项数字不能当作同质能力指标相加。其三，基线是 RHO 而非 Vanilla；相对原始 harness，Terminal-Bench 2 是 69.5→80.8，但成本对比的叙事完全不同，lite 档 $0.43 比 Vanilla 的 $0.89 便宜一半。

机制上，演化出来的 harness 做两件事：从任务描述里选一个执行档位（推理强度 + 工具调用预算），并用运行时 hook 在预算点上提醒收敛、到点阻断；同时对工具输出做压缩、精简开发者指令。Terminal-Bench 2 的 medium 档具体到“第 14 次调用后提醒并行、26 次后转向完成与验证、44 次后阻断”。这些 hook 把提醒追加在工具结果里，从而保留 prompt 前缀以复用缓存——这是一个容易被忽略的工程细节，它决定了“加提示”会不会把省下的 token 又花回去。

选择规则本身值得写清，因为它解释了“三档”从哪里来。先按 PR_val(h) ≥ PR_val(h₀) 且不被支配过滤，再在每档的权重下取加权平方距离最小者：

d_perf(h) = (P_max − PR_val(h)) / (P_max − P_min)
d_cost(h) = (C_val(h) − C_min) / (C_max − C_min)
J_m(h)    = α_m · d_perf(h)² + β_m · d_cost(h)²
h_m       = argmin_{h ∈ 过滤后候选集} J_m(h)

(α, β) = (1,2) lite｜(1,1) medium｜(2,1) heavy

P_max/P_min/C_min/C_max 是当前过滤后集合内的极值，因此归一化随轮次变化；α,β 固定不随轮次变（附录 A.2）。这意味着三档不是三套独立搜索，而是同一份候选池上的三个读数——换预算时保留的是候选池，不保证是同一个 harness。论文自己也注明过滤后可能不足三个（图 4 脚注）。

消融说明了哪些改动真正带收益。移除 test synthesizer 影响最大，heavy 档在 Terminal-Bench 2 从 80.8 掉到 74.6、SWE-Bench Pro 从 80.7 掉到 72.0；移除 planner 在 heavy 档只掉 1.1 点，但成本从 $0.72 涨到 $1.04。另有三个反例：把动态路由或预算 hook 单独塞给 RHO，成本降了而分数也降；统一压低推理强度到 62.7 与 59.0，成本大降但质量塌陷。作者据此主张这些机制必须组合使用。

一个没有被报告的量：演化本身的开销。表 2 的成本是测试集上每任务的执行成本，不含收集轨迹、生成候选、跑验证集的支出。外层还需要采集多条轨迹、生成候选并执行验证集；论文按任务使用不同的迭代轮数，不能只用表 2 的每任务成本推算整个搜索账单。要做部署决策，必须把这块补进分母——RRSI 那篇留下的“净节约 = 部署次数 × 每次节约 − 搜索成本”在这里同样成立。

跨模型：把模型差异当证据

MaD-RSI 的出发点是一个观察：用单个模型优化出的 harness，绑定的是那个模型的失败模式。换模型常需重跑一次优化。原文 §1 把它描述成 harness 与目标模型的强耦合。

它的做法是把“模型”变成数据的一个维度。给定查询池 Q、模型组 M、采样配置集 S（本文用温度 0.0 与 1.0），每个查询—模型—配置的成功率组成张量 P ∈ [0,1]^{N×M×L}。查询按片内分歧打分：

D_q = (1/L) · Σ_s [ h(p̄_qs) − Σ_m w_m · h(p_qms) ]
p̄_qs = Σ_m w_m · p_qms，h 为二元熵，w_m = 1/4

变量含义：p_qms 是查询 q 在模型 m、配置 s 下的经验成功率；h(p̄_qs) 是先按权重把各模型成功率聚成一个数再算的熵；Σ w_m h(p_qms) 是先分别算熵再加权。两者之差衡量“模型间差异”而非“执行间噪声”——若各模型在每个配置下成功率相同，差值恒为零，即使单次执行不同。分歧高的查询优先进入诊断集，剩余名额按分歧与响应模式覆盖率的联合增益补齐，另保留若干全体一致的成功与失败作为锚点。

不更新权重仍有优化成本。 MaD-RSI 的 §1 明确不更新模型参数。共享 harness 的外层优化仍要消耗模型调用：外层要跑四个模型 × 两个温度 × 每题两次重复的证据采集，再做三轮、每轮两个候选槽位的搜索。论文报告的成本是相对“四个模型各自独立优化一次”的总和：LawBench 省 18.3%、MBPP+ 省 55.9%、MedXpertQA 省 52.4%，而安全任务反而多用 15.2%（§4.2）。把这个换算清楚：省 18.3% 是相对四次运行之和，共享优化成本是四次独立优化总和的 81.7%，不能改称相对任意一次单模型优化节省 18.3%。各模型费用也未必相等。安全任务的 +15.2% 说明共享优化的成本优势并非在所有任务上成立。

它的评价指标需要单独解释，因为记号极易误读。Pass@M 与 Pass^M 里的 M 是模型数，不是样本数：前者对每个 (查询, 重复) 位置取各模型的最大值再平均，是跨模型的 oracle 覆盖；后者取各模型的乘积，是“所有模型同时成功”。两者都在对齐的查询与试次位置上平均，而不是在重复上取最大——原文 §2 明确写了这一点。因此 Pass@M 不是真正的 k 次采样覆盖率，它衡量的是“这一组模型里至少有一个能过”。表 1 的四模型结果中，LawBench 的 Pass@4 从最好的单模型基线 61.50 升到 73.00、Pass^4 从 43.50 升到 48.00；MBPP+ 的 Pass@4 持平在 93.00 而 Pass^4 从 76.50 升到 80.00；MedXpertQA 同样持平在 60.00、Pass^4 从 13.00 升到 18.00。规律是联合成功率提升比覆盖率提升更稳定——这与“共享 harness 是把各模型的失败模式一起纳入约束”的解释相容，也说明它主要在减少“某个模型掉链子”，而不是扩大可解集合。

一个容易忽略的对照细节：LawBench 上 Original harness 的 Pass@4 是 62.50，高于任何单模型优化基线（最高 61.50）。MaD-RSI 的 +11.50 点是相对最好的优化基线，相对原始 harness 是 +10.50。两种说法都成立，但读者容易把 11.50 当成相对原始状态的涨幅。

扩展到六个模型（加入未参与优化的 Doubao-2.0 与 GLM-5.3-Flash）时，表 2 显示 Pass^6 在六个数据集—指标组合上全部优于预选基线，但 Pass@6 有持平项。这里没有报告的边界是：增加了两个模型，Pass^M 的分母与语义都变了，表 1 与表 2 的绝对数值不可直接比较。

减少重复决策：替换账本

HarnessMM 问的是一个更窄的问题：harness 在工具回执之后反复调用推理，其中有多少次是“其实已经决定好了”。

它的表示叫 Executable Decision Graph（EDG，可执行决策图）：一次慢推理除了给出当前动作，还交出一小片后续动作，每个节点带动作、完整字面参数、前驱、以及一个只看公开状态的守卫谓词 g_j: S_public → {true,false}。运行时三件事：Guarded Decision Reuse（GDR，带条件的决策复用）用观测到的回执更新前驱完成度与守卫真值；Certified Callback Substitution（CCS，带回执记录的回调替换）通过原生接口执行存储动作并记录被省略的回调；类型化选择器给出候选或弃权。

eligible(d_j, s_t) = 1{前驱完成} · 1{g_j(s_t) = true} · 1{arg_j 已闭合}

C_episode(h; x) = Σ_{c ∈ C(h,x)} (T_c^in + T_c^out)
净收益条件：C_removed > C_introduced

s_t 是转移时的公开状态（请求、已观测工具回执、已完成动作历史）；arg_j 已闭合意味着不需要新的语义推断。第三行是原文 §3.3 的 Substitution Paradox：只有当被消除的推理超过新增的动作图生成、选择、上下文与回退开销，替换才真正省钱。这条不等式是该文最可迁移的判据——它把“输出变短”和“调用被删掉”彻底分开。

三个数字的分母必须核对。 摘要写“On HumanEval, HarnessMM preserves Codex success at 90.82%”，读起来像是全量 HumanEval。实际是 表 1：HumanEval (n=98)，来自对 164 题发布版的自定义 33/33/98 划分，seed 20261006，每任务一次尝试（附录 L 与图 3 说明）。98 是测试段，不是全量 164。用整数回算也对得上：89/98 = 90.82%，70/98 = 71.43%，84/98 = 85.71%。

具体数值：同一 98 题上，Codex 90.82% → 90.82%，Tokens/task 66.72k → 47.02k（降 29.54%），模型调用 5.35 → 5.09，记录到的回调跳过 0 → 18；DeepSeek Harness 71.43% → 85.71%（+14.28 点），96.28k → 11.62k（降 87.93%），调用 9.73 → 4.23，回调跳过 147。另有 MBPP-sanitized n=257：Codex 91.83% → 90.66%（降）、129.55k → 49.22k；DeepSeek 90.27% → 91.83%、53.98k → 10.61k。

这几个数字能承受的解释很有限。Codex 那一对是“保持”而非“提升”，且论文自己给出配对结果：Codex 五次改善五次退化；DeepSeek 二十二次改善八次退化，双侧精确 McNemar p=0.0161。DeepSeek 的 +14.28 点发生在一个 71.43% 的低基线上，存在大量上升空间，且 §5.3 明确说这是“literal-bank 复用、上下文管理与收尾”的合成效应，调用数差异不是证书的孤立作用。要归因到决策复用，得看 MBPP 上的四次消融：完整 93.77% @13.17k、去掉 GDR 93.00% @18.03k、保留回调 93.39% @16.37k、禁用图执行 95.33% @16.19k。由此得到摘要里的两个降幅：相对单次图 (18.03−13.17)/18.03 ≈ 26.9%，相对保留回调 (16.37−13.17)/16.37 ≈ 19.5%。其中“禁用图执行”的质量分数最高，但 16.19k 的成本高于完整版的 13.17k。这个单次读数不能证明图执行稳定提升质量；它揭示的是需要分别评价质量和成本。

HarnessMM 显式给出了完整任务成本的统计边界。它把动作图生成、选择器、新增上下文、剩余慢调用、回退、恢复、收尾、失败执行全部计入 episode，缓存输入也照计；开发成本单独列为 C_dev，并按 C̄_N = C_dev/N + E[C_episode] 摊到 N 个部署任务上。这条公式直接给出了“换规模后收益是否保留”的判据：N 越小，开发成本占比越大，节省可能为负。论文还明确提醒：token 数不能直接推出延迟或能耗节省。

pass@k：反转说明什么

Elicitation 那篇不提出新 harness，只提出一套诊断。核心区分是：优化的 harness 是让模型在本来就做得到的任务上更可靠（elicitation），还是让可解任务集合变宽（expansion）。用两个量分开：pass@1 对应单次尝试成功率，pass@k 对应 k 次完整尝试内至少成功一次的任务比例——后者才是覆盖率。

估计器是标准的无偏形式（附录 A）：pass@k = (1/N) Σ_i [1 − C(n−c_i, k)/C(n, k)]，c_i 是任务 i 在 n 次 rollout 中的成功数，在独立同分布假设下无偏。

最常被引用的一段是 LawBench：优化后的 GPT-OSS-20B harness 在 pass@1 上领先 GPT-OSS-120B 参照 16.05 个百分点，但在 k=11 处被反超，pass@64 时是 56% 对 60%。这个反转的对照对象是“更大的模型 + 原始 harness”，不是“同一个模型 + 原始 harness”。 把它读成“harness 无用”是错的：同一段结论在 pass@64 上相对自身基线的增益确实从 25.14 点收窄到 3.00 点，但仍是正增益。

收窄的原因论文给了机制解释。53 道基线在 64 次内解出的 LawBench 题中，优化后的 harness 保留了 49 道、丢了 4 道、新解 7 道；保留的那些贡献了 25.14 点中的 21.02 点。也就是说，增益主要来自“把已有的成功变得更频繁”，而不是“打开新的题”。作者的类比是 RL 训练里的马太效应：优化更容易落在模型已有能力的任务上。

这个结论有明确的作用域。静态任务（文本分类）上，优化只重塑如何使用固定输入，覆盖面基本不动；动态任务上结果不同——HotpotQA 里基线 harness 把问题复述成第二个检索查询，导致某道题的答案摘要在 128 次 rollout 中全部无法触达，优化后的 harness 改为查询新解析出的桥接实体，在 128 次中 125 次取到证据、122 次正确。这给出了有限预算下任务覆盖扩展的具体机制：改变查询后，先前未取得的外部信息进入了上下文。它不能证明基础模型出现了此前绝不可能具备的能力。

难度分层看得更清楚。HotpotQA 难子集上，选中的 harness 在 pass@128 达到 70.73–73.17%，8B 基线 70.73%，32B 参照 78.05%；AppWorld 难子集上，选中 harness 达 88.89–92.06%，medium 基线 82.54%，high effort 参照 92.06%。这些是不同任务上的两类对照：AppWorld 的部分 harness 接近或追平同模型的 high-effort 参照；HotpotQA 的结果仍低于更大的 32B 模型。不能将两组对照混成一个统一排名。更关键的一段：一次优化run 全部 40 个候选，在难子集上的 pass@k 曲线没有一条超过 32B 参照；而且即使把优化目标明确改向难题（pass@1 从 56.88% 提到 59.28%，已接近参照的 59.51%），pass@128 仍停在 73.17%，比参照低 4.88 点。

跨任务迁移更弱。把域内选出的 harness 直接搬到 FiNER、GoEmotions、Banking77，pass@64 分别低于各自的基线 6.00、8.00、11.33 个百分点；FiNER 与 GoEmotions 上那点 pass@1 优势在 k=2 就消失了。原因可以直接从代码看出来（图 11）：选中的 harness 按标签数与平均标签长度路由 prompt 模板，其中“多个标签用分号分隔”的目录模板对 LawBench 正确，却被同一条路由规则用到了只允许单一意图的 Banking77 上。这是一个极好的例子：代码可以直接搬过去，但规则的适用条件仍要重新验证。

实验规模也限制了结论强度：每个优化 run 20 次迭代、每次最多 2 个提案，proposer 是 Claude Opus 5；HotpotQA 300 题、n=128，AppWorld 168 题，LawBench 测试 100 题。原文结论部分明说“结果受所评估的基准、求解器家族与优化 run 所限”。

三条轴需要不同的验证

换预算。 HarnessPro 从候选池中选出不同偏好的产物，提供质量与成本的取舍；它没有保证能满足任意硬预算，也不是同一份 harness 自动适配所有预算。Elicitation 补充的是另一种预算：尝试次数 k。用 pass@1 选出的候选，未必在更大的 k 下具有最高覆盖率。

换模型。 MaD-RSI 将模型差异直接放进优化证据，并另测未参与优化的模型。HarnessPro 在另一组模型—工具组合上重新演化，验证的是方法可复用，不能称为同一产物直接迁移。比较结果前，应先明确是否重新搜索、是否更换动作库，以及费用对照包含几个模型。

换任务。 Elicitation 展示了特定 OOD 任务上的覆盖退化，而跨多个基准分别重新优化得到同向收益，并不能抵消这一证据。要检验任务迁移，应冻结在任务集 A 得到的具体产物，再在任务集 B 上测试，并记录哪些适配仍由人或模型重新完成。

三条轴没有从这些异质实验中得到统一的可靠性排序。它们共同要求：把“复用方法”与“直接复用产物”分开，把单次成功、任务覆盖、成本和开发开销分开。

该标记为限制的地方

以下都是原文没有说清或明确未做的，不作补推。

HarnessPro 没有报告演化过程自身的 token 与时间开销，因此无法计算盈亏平衡的部署次数；三个基准的测试集各只有 59、100、100 题，heavy 档在 SWE-Bench Pro 上相对 RHO 只高 0.7 点而运行间标准差 0.6，这个差距的稳定性无法从所给信息判断；三档在过滤后可能不足三个，论文未给出发生频率。轻量级检查：它没有做跨基准的 harness 迁移实验。

MaD-RSI 的局限小节只有两句话——“提供可行性初步证据，更全面的实验验证留待未来”，没有列出具体的失败模式。它没有消融分歧打分与覆盖率项各自的贡献，因此无法判断“跨模型”这一核心主张有多少来自证据选择、多少来自多模型带来的样本量增加。它报告的成本是相对四次独立运行之和，没有报告绝对 token 数，也没有报告在几个模型以下共享优化开始不划算。Pass@M 在试次维度上取平均而非取最大，与常规 pass@k 不同，不能混用。

HarnessMM 的分母是自定义划分的 98 题测试段（源自 164 题发布版）与 257 题 MBPP，每任务一次尝试，无重复运行，因此没有运行间方差；Codex 那一对是零增益，MBPP 的“禁用图执行”条件分数反而更高，单凭这些读数尚不能判断质量差异的稳定性。它的局限小节自己列了四条：节省依赖 provider 的输入/缓存/上下文计费方式与“已解决动作”的可获得性；新的语义决策仍需慢推理；动作图生成、选择与恢复成本可能超过被省下的调用；公开状态适配器是任务特定的。最后一条是跨任务迁移的主要障碍。

Elicitation 的重点是诊断既有 harness 优化的效果，也没有将不同干预折算为统一成本——“更大模型”与“更多尝试”两种干预的代价在论文中没有统一到同一单位，因此它的反转结论不能直接读成“该买算力而不该改 harness”。每个优化 run 只有 20 次迭代，单 run 单种子，图 3 的每条红线代表一次 run 的一次选择。文本分类的“难度分组”是数据集级代理而非题目级标注，这一点原文已说明。

对下一次改进实验的要求

四篇工作给出了可操作的检查方式：为候选同时记质量与成本；把开发开销按预期部署次数摊销；区分跨模型联合成功与多次尝试覆盖；在目标尝试预算和未见任务上重新检查收益。

对于一份具体 harness，值得保留的结论应当写成“在什么模型、什么任务、什么预算下，哪项指标改善了”。能否迁移，是下一组受控实验的问题。当前证据尚不足以把协议层或决策层排成普遍的迁移能力高低，更不足以用一次质量涨分证明改进过程会持续加速。

原始资料与复现边界

资料核对截至 2026-10-27。本文属于原文与表格分析，未运行四篇论文的实验；仓库示例为教学构造。所有结果仅保留原实验条件下的解释。

更新于 2026-10-27 · 研究方法