返回日报条目

资料节译

TokenEconomizer借助会话经验降低AI编码代理成本

阅读原文

AI 编码代理正越来越多地帮助开发者基本独立地修复缺陷和构建功能,但与模型的每次交互都会消耗 tokens。在每次会话中,代理都会向模型发送指令、工具描述和会话历史。大多数降低这项成本的努力都聚焦于单个任务。然而,开发者会反复回到相同的代码库,这让代理有机会从以往的工作中学习。如果没有这种学习,代理可能会一再重新摸索如何运行测试、加载从未使用的工具,或花费数十轮反复处理同一个错误。 

在我们的论文 TokenEconomizer:基于经验的编码代理黑盒成本控制中,我们提出了一个简单的问题:代码库中的经验能否帮助代理更高效地解决未来任务?TokenEconomizer 是由加州大学伯克利分校、微软研究院和微软安全团队推出的开源插件,它将已完成的会话转化为后续会话的指导。它能减少浪费,而无需改变代理或其底层模型,因此开发者可以将它与自己已经依赖的编码代理搭配使用。

我们首先对 Claude Code 在 SWE-Bench 的 60 项任务上的表现进行了分析。SWE-Bench 是一个针对开源 Python 项目真实缺陷修复的基准测试;我们按顺序运行了每个代码库中的任务。反复出现了三类浪费:

我们还测试了三个热门的开源插件,它们各自采用固定的节省成本策略。每个插件都在一些代码库中降低了成本,但在另一些代码库中则没有。综合来看,这些发现表明,有效的成本控制必须适应具体代码库,而不是到处套用同一种策略。

播客系列

加入微软的 Peter Lee,一同探索 AI 如何影响医疗保健,以及这对医学未来意味着什么。

每次会话结束后,TokenEconomizer 都会读取会话日志,并更新它对代码库的了解。随后,如图 2 所示,它仅通过代理已有的接口,以三种机制发挥作用。

微技能用单行笔记记录特定代码库的知识。TokenEconomizer 会识别多个会话中反复出现的模式,并提出相应的笔记。只有在多个会话确认该模式后,这些笔记才会加入代理的初始上下文;如果之后的证据与之矛盾,则会撤下该笔记。

工具精简会移除根据代码库历史判断代理不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。如有需要,可以恢复已移除的工具。

失败循环干预会监测代理是否反复遭遇同一种失败。一个裁判模型会判断代理是否真的陷入困境,还是仍在取得进展。如果代理确实陷入困境,就会收到一条简短提示,建议尝试不同的方法。在开源插件中,如果代理收到提示后仍然受困,TokenEconomizer 会提醒开发者,而不是自行停止工作。

该控制器旨在随着新证据出现而调整决策。报告的节省金额也计入了 TokenEconomizer 自身模型调用的成本。

我们使用五种不同的 AI 编码代理与模型组合,在来自六个代码库的 277 项 SWE-Bench 任务上评估了 TokenEconomizer。每个代码库的测试开始时,TokenEconomizer 都没有任何此前会话历史。

如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并且在全部 30 个代码库与组合配对中节省最多,同时没有性能损失。相比之下,降低模型的推理力度虽然节省了相近或更多的成本,却导致性能显著下降。

随着经验积累,节省幅度会增加。在学习过程中,早期任务的成本可能更高;但如图 4 所示,到第六项任务时,每个代码库的累计成本都已低于默认水平。每种机制都能单独带来节省,三种机制结合起来则可实现最大的降幅。

这种节省也延伸到了按顺序进行的网页开发任务,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计任务中,由于每项任务都在新的代码库中进行,成本降低了 6.4–19.6%。

TokenEconomizer 为编码代理开辟了一条新路径:代理不仅能学习如何解决任务,还能学习如何更有效地使用计算资源。它的轻量级控制器展示了如何在不改变底层代理或模型的情况下,通过经验提升效率。

这个开源插件让开发者和研究人员能够探索这些方向。它旨在与现有 AI 编码代理协同运行,无需修改其底层模型,不需要自己的 API 密钥,并且会将学到的内容保留在开发者的机器上。我们邀请社区将它作为起点,探索能够随着经验积累而变得更加善用资源的代理:它们不仅能调整所知,也能调整工作方式。

在新标签页中打开 文章 TokenEconomizer:通过经验学习,让 AI 编码代理更加高效 最初发表于 微软研究院。