AI研究智能体的递归自我改进

26年9月来自Weco AI 的论文“Recursive self-improvement of AI research agents”。这篇论文提出研究智能体自我改进系统AIDE²。该论文有力支持了“自动改写智能体框架可以提高研究任务效率”但尚未证明“自我改进能力能够跨代增强并持续加速”。它的主要价值在于系统设计和实验验证关键悬念是改进后的研究智能体能否成为更强的“智能体设计者”。方法的核心是把研究智能体自身的代码作为优化对象。这里被改进的是 驾驭harness即围绕大模型组织工作的代码如何搜索方案、选择实验、管理上下文、处理失败以及提交最终结果。底层大模型的权重保持固定。可以把它理解为两层优化内层优化任务代码。智能体修改机器学习程序、启发式算法或其他智能体框架在预算内寻找更好的解决方案。外层优化研究过程。另一个智能体修改内层智能体的代码以提高它完成一组研究任务的能力。如图 1 所示递归自我改进过程中的一个步骤分为三种放大层级。左图外层循环在一个智能体构成的树状结构中进行搜索其中每个节点都是一个完整的研究型智能体外层循环智能体会针对当前“在位”智能体的代码提出重写方案。中图通过让候选智能体在 AI 研发任务中充当优化器来对其进行评分各项任务中的留出集held-out评分汇总形成最终评分 g(a)只有当 g(a) 优于在位智能体的评分时才会保留该重写方案。右图每个解决方案节点都是针对其对应任务的可执行脚本。论文主实验的外层采用人工设计的AIDEhuman Claude Opus 4.7内层从简化版AIDE₀ Gemini 3 Flash开始演化。AIDEhuman 是人工研发的自动研究系统并非人在每轮手动修改。内层沿用 AIDE 的树搜索结构每个节点是一份可运行的任务代码通过draft探索新方案、debug修复错误、improve改进已有方案扩展节点reviewer 从执行结果中提取分数和反馈。外层树中的节点则是完整的研究智能体。其评价函数可以概括为其中^x_t(a;b_t) 是智能体 a 在任务预算 b_t 内最终选出的方案。实际实验还对独立运行求平均。两个设计尤其关键分离搜索反馈与最终评价。内层依据公开信号优化外层依据隐藏数据上的表现筛选智能体减少只追逐可见分数的倾向。固定每个候选智能体的任务预算。预算包含模型调用和方案执行费用使更高成绩能够体现更好的预算利用效率。需要注意隐藏评价分数会反馈给外层因此它对外层而言属于开发阶段的选择信号真正检验跨任务泛化还需要完全不参与选择的外部基准。最终演化出的 AIDE₈₅主要改善了搜索和记忆管理。具体机制见第 3.5 节及附录 E。模块初始 AIDE₀演化后的 AIDE₈₅作用搜索策略贪心扩展最高分节点在五种策略之间采用 UCB130% 的步骤改用 softmax 抽样保持不同研究路线的探索跳出停滞容易集中在单一分支每五步把全局最优方案转到另一策略下继续改进保留已有成果同时改变改进方向上下文拼接完整历史代码和执行输出使用有长度约束、按角色组织的摘要降低调用成本避免上下文溢出失败记忆缺少明确机制错误率达到 15% 时注入最多三条去重的错误特征减少重复犯错输出与鲁棒性基础检查强调隐藏集泛化对近乎空白的代码重新生成减少无效候选运行末期AIDE₈₅ 相对 AIDE₀ 的单次提示字符量减少约 7 倍到 50 倍具体取决于基准。这是上下文长度的压缩比例不能直接当作总成本或总运行时间的加速倍数。这些组件大多有成熟算法思想作为基础。论文的新意主要在于系统能够自主提出、组合并筛选这些机制得到具有迁移效果的研究智能体。实验中最值得关注的是外部泛化而不只是选择集分数上涨。主实验运行八天包含初始版本及 99 次改写提案共接受七次改进选择集分数从0.703 提升到 0.778人工基线为0.749。另外两次完整运行分别接受两次和四次改进说明产生有效改写并非只出现过一次。外部基准结果如下来自附录表 1“±”为一个标准误不是 95% 置信区间。外部基准初始 AIDE₀演化 AIDE₈₅人工设计 AIDEhuman评价ALE-Bench算法优化1536 ± 331790 ± 91511 ± 35改进最明确MLE-Bench机器学习工程0.678 ± 0.0060.722 ± 0.0110.708 ± 0.007均值更高但超越人工基线的证据有限FML-Bench研究代码优化15.0 ± 0.9%19.9 ± 1.1%19.6 ± 1.0%与人工基线基本相当WeatherBench 2天气模型优化0.262 ± 0.2050.793 ± 0.0050.404 ± 0.193结果有吸引力但只有一个任务这些结果还有三处需要准确理解演化并不保证所有能力同步提高。中间版本 AIDE₄₇ 在 MLE-Bench 和天气任务上均值略高于最终版本。天气指标是相对初始动力核心的预测技巧增益。它不是 WeatherBench 2 排行榜上的绝对性能也不能据此声称超越领先天气预测系统。不同基准采用不同资源约束。ALE、MLE、天气任务主要限制费用FML 主要限制步骤。不能把全部结果统一解释为“相同美元成本下的提升”。此外在 38 个“GPU kernel—训练场景”组合上论文定义的奖励投机率从55% 降到 32%人工基线为39%。这一指标衡量的是孤立测试中的加速是否能在真实训练过程中保留下来。它说明代理指标与实际收益之间的偏差有所减少但不能直接推导出更广泛的安全性或诚信提升。三项主要贡献。让研究智能体设计成为可执行、可评价的搜索问题。优化对象覆盖搜索、记忆和结果选择超出了单纯调整提示词。提供了跨任务、跨领域及跨底层模型的迁移证据。这比只报告用于筛选版本的分数更有说服力也支持 harness 本身是能力的重要来源。明确提出“点火测试”ignition test。作者把“做研究更强”和“改进研究智能体更强”区分开来为递归自我改进提出了一个可检验的标准。与论文讨论的 STOP、Darwin Gödel Machine 等工作相比它的定位主要是直接以固定预算下的 AI 研发效率为优化目标并检验改进后的系统能否继续承担外层优化。自我修改、树搜索、bandit 和元优化思想本身并非本文首创。最重要的问题在于结论的边界和收益归因。尚未通过“更强自我改进者”的检验。主实验中持续变化的是内层智能体外层 AIDEhuman 保持固定。点火测试让 AIDE₄₇ 与 AIDEhuman 分别驱动后续改进每组仅三个种子、每次 50 步最终均值为0.780 与 0.782。作者也承认结果不确定。因此现有证据支持多轮自动改进但不足以支持跨代加速更不足以支持无限自我增强。选择噪声可能被“只保留最高分”的机制放大。每个候选的评价都受到模型随机性、搜索路径和任务测量噪声影响。从大量提案中选最大值可能保留偶然高分。最优分数曲线单调上升也是选择规则本身的结果不能单独证明真实能力持续提高。独立基准缓解了这一问题但不能替代对每次晋升的统计检验。缺少充分消融无法确定哪些改动真正有效。搜索策略、上下文压缩、错误记忆和鲁棒性规则累积在一起贡献尚未拆开。论文甚至发现一个用于惩罚“幸运高分”的规则保留了原有排序在回放实验中从未改变最终选择。这说明演化结果可能包含无效复杂性。部分收益涉及评测程序修复需要统一重评。第 3.5 节指出系统修复了一个“单个测试失败导致整个隐藏评测崩溃”的问题。这是有价值的工程发现但也提出可比性问题新旧智能体是否都在同一个修复后的评测器下重新评分论文对此交代不充分。需要把“研究策略提升”和“评测基础设施修复”分开统计。泛化范围和基线仍有局限。天气实验只有一个任务、三个种子。初始 AIDE₀ 又存在明显的历史膨胀问题部分运行因上下文超限提前结束。因此相对 AIDE₀ 的提升有一部分来自修复已知工程缺陷。人工强基线的加入改善了比较但 FML 上与其相当的结果也说明优势并非全面且显著。经济性与复现细节仍不充分。固定内层预算证明的是单次任务的使用效率完整经济收益还需要计入外层提案、失败实验和反复评估成本。本文对选择集完整任务清单、逐任务预算、重复次数及总费用的披露不够充分。“八天达到两年人工研发系统的水平”也不能直接理解为八天替代两年研发投入。未来工作应优先补齐因果证据再验证真正的跨代改进。以下是我的建议按研究价值和依赖关系排序。优先方向具体下一步能回答什么1. 因果消融与统一评测固定评测器分别加入搜索、压缩、失败记忆等组件设置“人工补齐基础工程缺陷”的对照自主演化究竟发现了哪些有效机制2. 统计可靠的版本晋升对候选与当前版本做配对重复实验收益不确定时追加评估保留完全独立的最终测试集能否减少偶然高分导致的错误晋升3. 多代点火实验比较固定外层与自动晋升外层让晋升持续多代统一总费用并增加独立运行更强的研究智能体是否真的能制造更强的后继者4. 降低外层评估成本先用少量任务筛选再逐步增加任务和预算检查低成本评价与完整评价的一致性能否在可负担成本下获得可靠的自改进证据5. 扩大领域和预算范围增加多个科学计算、系统优化任务测试更长运行及不同费用档位当前增益是否只适合特定任务与短预算6. 同时评价真实收益与奖励投机联合报告端到端加速、正确率、失败率和投机率并消融相关机制投机减少是否伴随真实效用提高而非只是更保守如果以此为基础继续做研究带统计晋升机制、冻结独立评测器的多代自改进系统。其核心指标应当包括“每单位总成本带来的外部能力增益”以及这个增益能否随着代际推进而提高。这样才能直接检验本文最重要、也尚未解决的假设。