评估证据审计：让主张与验证方式对应

论文：Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims

作者与团队： Zihan Chen、Di Zhu、Lei Nico Zheng；Stevens Institute of Technology、University of Massachusetts Boston。2026，v1

问题

论文声称的”自改进”，到底有哪些证据支撑？

做法

1. 对 114 篇合格研究做全文编码。

2. 把每篇的主张分为两类：

   • 产物主张：最终结果更好；
   • 过程主张：循环可重复、改进器变强。

3. 将每类主张与相应的评估证据逐一匹配。

4. 由人工独立编码，并进行复核。

结果

• 在 90 篇自称 RSI 的研究中：

  • 60% 报告了在未用于选择的任务上的评估；
  • 22% 报告了至少 2 次完整循环的重跑。

• 在 26 篇声称改进器变强的研究中，仅 4 篇在相同起点、匹配预算的条件下，比较了早期和后期的改进过程。

适用范围

样本来自作者在 2026 年 10 月冻结的检索框架，不是整个领域的全量统计。

返回 RSI 专题 · 检索论文与资料