论文: DuoDiscover: Scaling Autonomous Discovery Beyond the Evaluation Bottleneck

作者与团队: Shubham Agarwal、Akshat Gupta 等;UC Berkeley、Google、Stanford 等。2026,v1

问题

真实系统评估很慢。例如该论文的 vLLM 设置中,一次完整评估约需 85 分钟,限制了搜索能尝试的次数。

做法

  1. 双重搜索:编码 Agent 在寻找优化方向的同时,自己构建一个运行快的代理度量(yardstick)。
  2. 内循环:用代理度量快速比较候选。
  3. 周期校验:定期做真实评估,检查代理度量给出的排序是否与真实结果一致。一旦失真,就废弃并重建代理度量。
  4. 并行共享:多个 worker 共享已被真实评估确认的工作。

省什么、对照谁、质量是否下降

  • 省的是:昂贵的真实评估次数,从 12 次降到 7 次。
  • 对照的是:同为 20 小时的 Claude Code。
  • 观察结果: 对照方案综合指标为 1.07×,DuoDiscover 为 1.92×。

注意

  • 四个目标是吞吐量、首 token 时延、p99 解码时延和 GPU 功耗。将它们相对经调优但未修改的 vLLM 基线的改善倍率统一为“越高越好”,再取几何平均,得到 1.92×;它不是吞吐量单项提高 1.92 倍。
  • 论文没有证明搜索阶段的总 API 费用降低。真实评估的节约和搜索调用的费用应分开核算。
  • 这项技术主要优化程序产物 y 和评估方式,可借鉴为 Evaluate 环节的机制,但不能单独证明 R:改进策略 变强。

返回 RSI 专题 · 检索论文与资料

更新于 2026-11-09 · 研究方法