返回日报条目

资料节译

智能体工具设计:灵活端点与深层工具的取舍

阅读原文

把智能体接入后端有两种方式,各自在不同地方会出问题。

把每个端点都封装成工具,就能保留灵活性:智能体可以按没人预先设想的方式组合步骤。需要长链路任务、而顺序规则又写在提示词里时,这种方式就会出问题。围绕完整任务构建几个功能深入的工具,让步骤在代码中执行。任务超出建模范围时,这种方式就会出问题。对于探索型或研究型智能体,这种灵活性或许值得付出代价。对于涉及资金流转、面向客户的自动化,我通常会选择功能深入的工具。

这个想法源自 John Ousterhout 的《软件设计哲学》。深模块用简单的接口封装大量隐藏功能。浅模块隐藏的内容很少,因此调用方要承担工作。1:1 的 API 封装是浅模块,而此时调用方成了概率模型。

这会在三个方面带来代价。每个模式都会在每一轮对话中占用上下文:在 Anthropic 的示例中,对话开始前,58 个工具就占用了约 55K 个 token。错误会累积:通过薄封装工具取消一项 29 美元的订阅需要六个步骤;假设每一步的成功率为 92%(这是一个假设,并非测量结果),端到端成功率约为 60.6%。此外,不变量会泄漏到提示词中,变成“始终先调用 X,再调用 Y”之类的规则,而模型可能会跳过它们。

这些证据有参考价值,但不足以绘出清晰的趋势曲线。一篇尚未经过同行评审的 Meta 预印本发现,自适应短名单平均包含 2.2 个工具,在展示给模型时,模型有 93.1% 的概率选对工具;固定的五个工具则为 87.1%。这衡量的是短名单长度,而不是目录规模,也没有测试合并后的工具。我能查到的来源都不是对浅工具与深工具进行的对照测试。不过,它们指向同一个结论:选项越多、彼此重叠越多,就越难选对。

所以要拆分工作。模型理解请求、选择一个高层级工具,并向用户展示预览。代码负责授权、锁定、检查不变量以及执行幂等支付。

不过,确定性不代表正确。模型仍可能选错工具或传入错误的电子邮件,而代码也会像可靠地复用正确的按比例计算规则一样,可靠地复用错误的规则。你仍然需要根据真实业务规则进行测试,并在退款前明确确认。

如果你正在审核工具注册表,我会从三件事着手:

完整文章包含图示、来源和完整检查清单:https://aiadvances.org/the-swiss-army-knife-trap-why-wrapping-every-api-as-an-agent-tool-backfires-45c917478da4