落地的人工智能 · 进阶
智能体:什么时候让系统自己行动
一句话: 智能体自己决定要执行哪些操作——而全部的回报和风险,都在你给它的权限里。
什么时候是合理的
当步骤数事先无法确定时。把一个固定流程实现成智能体,是在一个简单循环就够用的地方,造出了一个昂贵且不可预测的系统。智能体适合调查类任务:「找出为什么这张发票对不上」。
三级自主性
提出建议、由人审批;对可逆操作自行执行,把不可逆操作转给人审批;以及在有可靠记录的明确领域里完全自主。可逆与不可逆之间的区分,是核心的设计决策。
在接上权限之前必须先有的
最小权限;代码里对步骤数、成本和时间的硬性上限;一份完整的操作日志;以及外部内容与指令之间的彻底隔离。
还有一条实用规则:工具要少,而且定义清楚。工具越多,在它们之间选择的质量就越差。
深入一层
把每个工具当作一个公开接口来定义:明确的名字、什么时候用和什么时候不用、严格的schema,以及能说明「该修什么」的错误。把敏感操作做成两步——准备和确认——并在上线前跑那些专门设计来把它搞垮的场景,包括恶意输入。