Promptbreeder：同时优化提示与变异方式

论文：Promptbreeder: Self-Referential Self-Improvement via Prompt Evolution

作者与团队： Chrisantha Fernando、Dylan Banarse 等；Google DeepMind。ICML 2024；结果取自 arXiv 初稿 Table 1

问题

手工编写的提示，以及固定的提示变异规则，会限制后续优化能走多远。

做法

1. 种群结构：每个个体包含两部分。

   • 任务提示：直接用于解题，属于 H：执行框架。
   • 变异提示（mutation prompt）：描述”如何改写任务提示”，属于 R：改进策略。

2. 生成变体：每轮把变异提示和任务提示一起交给 LLM，生成新的任务提示。

3. 评估与选择：新提示在训练集样本上评分，较好的个体被保留。

4. 自指演化：变异提示本身也会被 LLM 改写，并随个体一起接受选择。因此，“改什么”和”怎么改”都在演进。

结果

PaLM 2-L、GSM8K zero-shot，同表中 OPRO 为 80.2%，Promptbreeder 为 83.9%。

适用范围

这个任务得分是任务提示和变异提示共同作用的结果。单凭这一数字无法量化 R：改进策略（变异提示演化）的单独贡献，需要消融实验才能拆分。

---

返回 RSI 专题 · 检索论文与资料