为什么你现在应该读这篇把成功经验存下来复用这句话几乎是所有 Agent 工程团队的共识,但很少有人能说清楚:这套经验沉淀机制到底带来了多少实际收益,换个任务场景还能不能用。这篇论文第一次用严肃的基准测试把这个模糊的直觉变成了可复现的数字。① 程序性记忆真的有用,但增益是有明确上限的,不是无限叠加。论文构建了 AFTER 基准——382 个覆盖六种职业角色、22 种程序性技能的真实企业任务,系统测量复用之前沉淀的技能流程到底能带来多少提升。结果:平均带来 2.8 点的 full-pass 指标增益。这个数字不算夸张,但足够稳定和可复现,比我们感觉用了 skill 库效果更好这种主观判断靠谱得多。② 单轮精炼比反复迭代更划算,3.7 到 6.7 点的提升主要来自一次精炼。这是最反直觉的发现之一——很多团队的直觉是多轮迭代打磨技能会越用越好,但论文数据显示,单轮精炼已经能拿到大部分收益,继续迭代的边际收益并不呈线性增长。③ 技能的可迁移性是有代价的,能不能跨任务/跨角色复用本身需要专门评估。AFTER 基准专门设计了跨任务、跨角色、跨模型底座的迁移测试维度,而不是只测同一个任务重复做第二次这种最容易刷高分但没什么实际意义的场景。如果你正在做:(1) 给 Agent 系统设计技能库/流程库;(2) 纠结该不该固化某个成功经验成为可复用流程;(3) 评估 Agent 平台的 ROI 该往哪个方向投入,这篇论文的量化方法值得直接搬到你自己的评估体系里。论文元信息标题Managing Procedural Memory in LLM Agents: Control, Adaptation, and EvaluationarXiv2606.231272026-06-22/23 提交作者Julia Belikova, Rauf Parchiev 等核心贡献AF-TER 基准——382 个真实企业任务覆盖六种职业角色、22 种程序性技能关键数据程序记忆平均带来 2.8 点 full-pass 指标增益单轮精炼额外带来 3.7-6.7 点提升核心场景为什么经验该不该固化是个真问题想象你的团队在给一个企业内部 Agent比如财务审核助手、法务合同审查 Agent做迭代。团队做了很多次任务后产品经理提议“我们把成功案例的操作流程沉淀成一套可复用的技能模板”。这个想法听起来天经地义但实际落地时会撞到一堆没人能回答的问题这套流程沉淀下来换一个岗位角色比如从财务审核换成销售合同审核还能用吗反复打磨这个流程模板收益是持续增长的还是很快就到边际递减如果换了底层模型比如从 GPT 换成 Claude这套流程还有效吗这些问题在没有严肃基准之前团队只能靠感觉上应该有用来做决策而这篇论文提供的 AF-TER 基准第一次把这些直觉问题变成了可测量、可复现的量化指标。关键数据在 382 个覆盖六种职业角色论文原文提到跨专业角色场景、22 种程序性技能的真实企业任务上引入程序记忆可复用的技能/流程平均带来 2.8 点 full-pass 指标增益对已沉淀的技能进行单轮精炼能在此基础上额外带来 3.7 到 6.7 点的提升且效果稳定可复现。技术细节AF-TER 基准怎么设计的评估框架总览┌─────────────────────────────────────────────────────────────┐ │ AF-TER 基准382 个企业任务 │ ├─────────────────────────────────────────────────────────────┤ │ 六种职业角色Professional Roles │ │ × 22 种程序性技能Procedural Skills │ └──────────────────────────┬──────────────────────────────────┘ │ ┌───────────────────┼───────────────────┐ ▼ ▼ ▼ ┌───────────┐ ┌───────────┐ ┌───────────┐ │ 跨任务迁移 │ │ 跨角色迁移 │ │ 跨模型迁移 │ │Task Transfer│ │Role Transfer│ │Model Transfer│ └───────────┘ └───────────┘ └───────────┘ │ │ │ └───────────────────┼───────────────────┘ ▼ ┌─────────────────────────┐ │ Full-Pass 指标评估 │ │ (基线 vs 程序记忆 │ │ vs 程序记忆单轮精炼) │ └─────────────────────────┘Control控制研究如何控制程序性技能的演化过程避免技能在反复使用中发生不可控的漂移或退化这对应技能库该怎么治理这个工程问题。Adaptation适配研究技能如何跨任务、跨角色、跨模型底座做适配迁移这是论文最核心的贡献维度——不只是问技能有没有用而是问技能在什么条件下依然有用什么条件下会失效。Evaluation评估设计 full-pass 这类严格指标要求任务完整通过而不是部分正确就计分避免看起来有提升但实际业务价值有限的虚假信号。对比表不同记忆策略的量化收益策略Full-Pass 指标增益特点无程序记忆基线0基准线每次任务从零推理引入程序记忆2.8 点平均复用已沉淀的技能/流程模板程序记忆 单轮精炼3.7 至 6.7 点额外对已有技能做一次针对性修正程序记忆 多轮迭代精炼收益边际递减论文暗示继续迭代的性价比不如单轮精炼关键设计启示经验沉淀的价值边界是可以测的,不该靠感觉判断。AF-TER 基准把该不该固化某个流程这个决策从主观判断升级为可以直接测量增益点数的工程决策这个方法论本身比具体数字更有推广价值。技能迁移能力需要专门测,不能默认能用就是能迁移.论文特别设计了跨任务、跨角色、跨模型的迁移测试说明团队默认这个流程在别的场景应该也能用的假设,往往是需要验证而不是想当然的。精炼的投入产出比呈边际递减,一次精炼可能就够了.这个发现对资源分配很直接——如果你的团队在反复打磨同一套技能模板考虑把这些资源投到覆盖新场景拓展技能种类而不是无限打磨已有技能。So What三类人行动清单 工程师给技能库/流程库补上迁移测试维度——如果你已经有一套 Agent 技能沉淀机制,检查是否只测过同任务复用,补充跨角色、跨模型底座的迁移测试,避免技能库其实只是过拟合在特定场景。用 full-pass 而不是部分正确率做技能沉淀的验收标准——软性指标比如看起来流程更规范了容易造成虚假的进步感改成严格的完整任务通过率能避免这个陷阱。明天就能做挑一个你团队已经沉淀的标准操作流程技能模板,换一个相邻但不完全相同的任务场景跑一遍,记录是否 full-pass。如果失败,这就是你的第一条迁移能力基线数据。 技术管理者把经验沉淀 ROI纳入常规复盘指标——参考论文的量化方式2.8 点基础增益、3.7-6.7 点精炼增益,给团队的技能库/规则库建立类似的量化评估机制,而不是靠团队感觉判断这条规则有没有用。精炼资源投入决策单轮 vs 多轮的取舍——论文暗示继续迭代打磨已有技能的边际收益递减,这提示资源分配应该更倾向于覆盖新场景,而不是无限打磨旧技能,值得作为团队资源分配的参考依据。明天就能做这个发现直接对应到 OpenClaw 的规则灰度验证机制机制B——建议给现有试用期规则补充触发准确率、用户纠正次数这类量化指标把规则转正的决策从直觉判断升级为像这篇论文一样的数据驱动打分。 创业者/PM技能库产品的核心卖点应该是可迁移性,不是数量——很多 Agent 平台在营销时强调内置 N 个技能模板,但这篇论文提示真正稀缺的能力是技能能跨场景迁移,这才是值得投入研发的差异化方向。量化评估方法本身可以是产品能力——如果你在做 Agent 平台“帮客户量化评估自己沉淀的技能库到底值多少分可以是一个独立的分析类功能帮客户从感觉有用升级到数据证明有用”。明天就能做如果你的产品文档里在宣传技能复用能力考虑加入类似 AF-TER 基准的量化案例哪怕是简化版给潜在客户一个可信的效果预期而不是泛泛而谈的提升效率。⚠️ 方法论局限382 个任务、22 种技能的样本规模,对企业全场景的覆盖度有限六种职业角色不足以代表所有行业场景论文的量化结论2.8 点、3.7-6.7 点在样本外场景的泛化能力有待更大规模验证。单轮精炼比多轮迭代更划算的结论可能与精炼方法本身相关论文没有充分讨论如果换一种精炼策略而不是简单的重复迭代多轮精炼是否依然边际递减这个结论的稳健性需要更多消融实验支撑。Full-pass 指标虽然严格,但可能对渐进式改进不够敏感企业实际场景中,很多任务的价值是部分完成也有产出比如审核流程走完 80% 步骤依然有参考价值过于严格的 full-pass 标准可能低估了技能沉淀的实际业务价值。跨模型迁移测试的具体底座模型范围未在公开摘要详述论文提到跨模型底座评估维度但具体测试了哪些模型组合、迁移效果的方差有多大需要看完整论文才能判断这个维度的结论可信度。延伸阅读 论文主页arxiv.org/abs/2606.23127 对比阅读《AutoMem: Automated Learning of Memory as a Cognitive Skill》arXiv:2607.01224——AutoMem 关注的是元记忆怎么记、怎么检索这篇关注的是程序性记忆可复用的技能流程两者是 Agent 记忆体系里互补的两层建议对照阅读理解完整图景。 同类对比《Are We Ready For An Agent-Native Memory System?》arXiv:2606.24775——如果这篇论文告诉你经验沉淀值多少分那篇论文会告诉你记忆系统架构本身有哪些通病两篇合起来看能同时理解内容层和架构层的问题。⏱️如果只有 5 分钟直接记住两个数字——程序记忆平均 2.8 点增益单轮精炼额外 3.7-6.7 点。这两个数字足以支撑你在下一次该不该固化某个流程的决策会议上把讨论从感觉有用升级到数据驱动。路易乔布斯 © 2026 · AI论文观察 · Agent 程序性记忆量化评估