当下Codex、Claude Code等各类Agent层出不穷,但绝大多数产品仍停留在预训练+固定提示词+静态工具的模式,模型上线后能力冻结,交互产生的经验无法沉淀复用,每一轮对话都是重复从零推理。

2026年6月清华大学、Frontis.AI联合发布重磅综述《Self-Improving Agents in the Era of Experience : A Survey of Self-to Meta-Evolution》,首次系统性提出经验时代(Era of Experience),推翻了靠静态数据集训练模型的传统思路,完整搭建从自进化到元进化Agent全链路技术框架。

AI正式进入经验时代

传统大模型逻辑是训练阶段定型、部署阶段消耗。研发阶段投喂海量静态文本、代码数据完成预训练,上线后仅依靠Prompt、固定工具库完成单次任务交互,用户操作、环境试错产生的交互轨迹用完即弃,不会反哺模型本身。

而经验时代核心逻辑完全反转。AI Agent的核心价值不再取决于预训练数据集,而是部署运行过程中持续生成的交互经验。整套系统形成闭环循环:和用户/环境交互产生轨迹→提炼有效经验→改造自身能力底座→再次交互迭代,实现越用越强。

经验时代的基础设施:什么是Harness?

讨论智能体如何进化之前,必须先理解一个核心概念——Harness。

一个部署后的智能体系统由四个部分共同决定:基座模型、可变的状态化Harness、用户侧(目标与反馈)、环境侧(工具与执行状态)。其中,Harness是经验进化的核心载体

为什么Harness如此关键?因为模型权重更新一次需要数天和数百万美元,而Harness的状态在部署期间可以被快速检查、修改和治理。它直接决定了模型能看到什么、能做什么、能捕获什么证据,以及哪些交互能变成可复用的经验。

当前Agent的发展可以划分为三代:

第一代:任务闭环(Task Loops)

Agent在一个任务内完成推理、行动、观察的闭环,任务结束循环即终止。仅实现思考+工具调用基础链路,任务结束后所有记忆、操作记录全部清空。这样的缺点是无法沉淀跨任务经验,只能处理一次性简短需求,不存在长期迭代能力。

第二代:跨任务复用(Cross-Task Reuse)

引入持久记忆、标准化技能库、可复用工作流,不同会话间能复用历史操作。但整套运行框架、Skill、记忆规则全部依靠人工提前配置,上线后无法自主更新,人类是唯一的系统维护者,不存在自主进化机制。

第三代:运行时系统(Runtime Systems)

将Harness本身变为可被Agent修改和进化的对象。系统部署上线后无需人工干预,自动采集交互记录、提纯有效经验,目前Codex、Claude Code、OpenClaw等爆款编码智能体底层架构全部基于Harness体系搭建。

三代演进的核心变化正是循环从“任务内闭环”扩展为“跨任务、跨部署的持续进化循环”

论文将进化过程分为两条路径:快速路径是在Harness层面更新技能和记忆,便宜、快速、可逆;慢速路径是将累积经验内化到模型参数中,昂贵、缓慢、几乎不可逆。这两条路径构成了整个自我进化体系的骨架。

智能体如何进化?从外到内的五大路径

论文详细拆解了经验驱动进化的五个主要层面。

Skills:把经验沉淀成可复用的程序

这是最直观的外部进化方式。智能体可以将成功解决某类问题的步骤,打包成一个可复用的技能(Skill),存储在外部库中,包含描述文档、执行指令、参考资料、可运行脚本四大模块。完整闭环分为创建、使用、进化三阶段:

  1. 创建:包括人工编写、从已有资源中挖掘、从成功轨迹中提炼三种方式,搭建初始技能仓库;

  2. 使用:Harness 根据用户需求检索匹配技能,支持多技能拼接组合,在沙箱环境安全执行;

  3. 自主进化:从成功/失败轨迹自动挖掘优化点,自主新增技能、修复流程缺陷、淘汰长期闲置冗余技能。

传统 RAG 仅存储静态文本,技能直接沉淀完整操作流程,企业搭建智能体时,仅迭代技能库就能适配业务,无需改动底层大模型。

2.记忆:沉淀历史状态、用户偏好与失败教训

技能解决“怎么做事”,记忆解决“发生过什么、用户偏好、历史问题”,存储碎片化、非流程化长期交互经验。论文把记忆分成三层:

  • 表示层关注存什么、怎么组织。记忆可以是原始日志、情景轨迹或语义摘要;组织结构可以是扁平记录、分层存储或图结构。
  • 操作层把记忆看作动态管理的流,核心操作包括写入、压缩、合并、检索和更新,每种操作都涉及该写什么、该清理什么的决策。
  • 演进层是记忆系统自身的进化:
  • 内容进化包括智能体写新经验、压缩旧记录、更新过期信息。
  • 机制进化更进一步,让智能体改进记忆的组织和提取方式。
  • 策略进化则让系统学习何时该写、何时该取、何时该忘。这已从被动存储走向主动管理。

3.环境:Agent进化的天花板

论文将环境定义为Agent能力的天花板。一个只能聊天的Agent和一个能操作文件、执行代码、浏览网页的Agent成长上限完全不同。环境决定了Agent能获取什么样的经验,而这些经验的质量直接决定了改进的上限。

论文从三个维度分析环境的能力上限:行动多样性(能执行什么操作)、反馈密度(环境能提供多频繁、多可归因的反馈信号)、任务时长(支持多长的有状态任务,中间错误是否可恢复)。这三个维度互相耦合:增加动作多样性但不改善可观测性,会让轨迹更丰富但更难诊断。

环境建设框架包括三层。

  • 第一层是可执行性,软件能不能变成Agent可以实际操作的环境,终端和命令行是最直接的路径。
  • 第二层是协议标准化,MCP标准化了Agent与工具的边界,A2A标准化了Agent之间的边界,AG-UI标准化了Agent与用户界面的边界。
  • 第三层是可学习性,环境产生的交互轨迹能不能转化为可用于训练的信号,这是最难的,因为大多数环境只有最终的成功或失败信号,缺少密集的过程奖励。

很多人只盯着模型变强,但环境的改进往往投入产出比更高。给Agent更好的终端环境、更丰富的工具接口、更密集的反馈渠道,可能比微调模型参数效果更明显。

4.参数固化:把经验内化进权重

前面三条路径都是外挂式改进:Skill存在外部文件里,记忆存在外部存储中,环境是外部系统。这些改进灵活但有一个代价,每次使用都要重新加载到上下文里,消耗token、增加延迟。参数固化是另一条路,把稳定的经验内化进模型权重本身。这条路的价值主要体现在三个方面:

  • 第一,内化稳定的运行时先验,省去反复的上下文编排开销。
  • 第二,权重更新的迁移性更好。一个Skill文件只有被正确检索到才有效,但一个好的策略更新可以跨任务、跨会话生效。
  • 第三,参数更新支持集体进化,多个用户的经验可以汇聚成训练信号。

参数固化分成部署前训练和部署后训练。部署前训练是当前主流,用可执行环境、验证器和强化学习,在模型发布前把Agent能力训练好,SWE-RL和ComputerRL都是代表性工作。部署后训练是前沿方向,Cursor的实时RLLoop就是一个例子:生产环境中的用户反馈被聚合为奖励信号,频繁更新模型权重。目前部署后训练仍处于非常早期的阶段。

5.元进化:谁来决定如何进化

当进化过程本身也成为优化的对象时,就进入了元进化时代。

论文用两个维度来回答这个问题。**"谁控制进化"是智能体自己决定,还是由一个独立的"元层"来调度?“什么在进化”**是具体的内容资产,还是执行机制,抑或是改进策略本身?两个维度交叉,形成了三种清晰的进化形态。

**形态一:TaskAgent自我进化。**这是最基础的形态,智能体将部署经验转化为可复用的内容资产,增删技能、写入记忆。进化是行动的自然副产品,没有独立的监督者。

**形态二:TaskAgent元学习。**智能体不再只是积累内容,而是改进自己的执行方式或学习策略。比如学习“什么时候该寻求帮助”、“如何筛选高质量训练数据”。控制回路仍在TaskAgent内部,但改进的是如何学习和执行本身。

形态三:元进化智能体。这是最高形态。改进TaskAgent不再由内部自发完成,而是由一个功能独立的元层持续控制。元层不解决用户任务,它解决的是如何让TaskAgent更好地解决用户任务。这个元层可以控制TaskAgent的记忆规则、修改Harness配置、甚至管理整个技能库的增删策略。

理想的元进化Agent应该把内容资产、执行机制、改进策略、元层自身都纳入统一的可学习控制问题。这是一个尚未实现的目标。

怎么测一个Agent是否真的在变强

现有 SWE-bench、WebArena 只测单次任务得分,完全无法衡量持续进化效果,论文提出纵向评估六大核心指标

  • 正向泛化增益:进化后新任务完成率;
  • 反向留存率:进化后旧能力不遗忘;
  • 长期稳定性:多次更新后性能不衰减;
  • 进化效率:每提升能力消耗的交互/算力成本;
  • 路径归因:能力提升来自技能/记忆/模型哪一层;
  • 安全无退化:进化不新增漏洞、风险。

同时推出 SIP-Bench 标准化评测协议,统一所有自进化Agent纵向对比标准,未来所有自进化类产品都将基于这套框架做对标。

潜在风险:自进化等于移动攻击面

自进化让安全问题发生了质变。传统AI安全做的是一次性审计:模型发布前测试一遍,确认安全后上线。但自进化Agent在部署后持续变化,今天安装的Skill、写入的记忆、更新的策略,都可能让昨天通过审计的系统不再安全,论文指出了四大核心新型威胁:

  • 技能供应链攻击:恶意技能植入库,长期窃取密钥、执行高危操作;
  • 记忆投毒:污染历史信息,长期扭曲Agent判断;
  • 反馈操纵:伪造成功轨迹,诱导AI学习错误行为;
  • 对齐漂移:持续迭代后,原本合规的AI逐步偏离安全约束。

当前的安全方法大多只针对单一攻击面,属于局部缓解而非系统级保障。理想的安全架构应该覆盖发布前认证、部署中监控、每次更新都治理、支持回滚和恢复。

开放问题

论文最后列了九个开放问题,挑几个最有讨论价值的来说。

弱反馈下的信用分配。自进化在程序执行和形式验证等领域进展最快,因为成功与否有可靠的检查。但部署环境的信号通常很弱:目标不明确、奖励稀疏。一条轨迹成功了,到底是哪一步、哪个Skill、哪条记忆起了作用?这个问题目前没有好的解法。

自生成经验的稳定性。Agent从自己的交互中学习,意味着主要在学习自己生成的数据上。递归地在自产数据上训练会收窄分布,Agent可能在自己的先验上打转,逐渐丢失曾经拥有的能力。没有外部信号的定期校准,长期运行的Agent可能会悄悄退化。

跨模型版本的迁移。Skill、记忆、环境配置这些外部资产在模型升级后还能用吗?一个为Claude3.5写的Skill文件,换了Claude4还有效吗?随着模型迭代速度加快,这个问题越来越紧迫。

学AI大模型的正确顺序,千万不要搞错了

🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!

有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!

就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

在这里插入图片描述

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐