监督不只是盯着终端

第 14 讲把长期任务的监督拆成任务切片、验证关卡、能力限制、升级条件和执行记录。人的注意力有限,需要提前决定何时检查、检查什么,以及什么时候必须停止。

课程开头回顾了生产数据库被误删的 Replit 案例,又介绍评测 Agent 经依赖代理越过原定网络边界的案例。这里关注的是设计问题:代码冻结属于指令,生产凭证与可达网络属于实际能力;即使已经有沙箱,也要检查它允许的例外是否形成另一条路径。

赞助商

仓库级改动先建立模板

例子是把全部预约处理器从异常改为结果类型。首先定义结果类型和辅助操作,再转换一个代表性处理器并仔细评审;模板可靠以后,分批转换其他处理器;不符合模板的特殊情况最后单独处理。

基础类型、代表性实现、批量迁移与特殊分支按关卡推进

每片任务都需要自己的上下文和提前写好的关卡。模板片可以要求测试通过、错误路径的特征测试不变、错误文本保持,以及 diff 限于指定文件。下游任务只有在依赖片通过后才能开始,否则一个错误模板会复制到全仓库。

特殊处理器尤其值得单独检查。例如候补逻辑原来捕获 BookingException 后尝试下一位,book() 改成结果类型以后,旧 catch 不再执行;照着普通处理器机械替换,就可能破坏候补推进。任务切片要把这种差异显式列出来。

模板关卡也应具体:完整套件通过,book() 错误路径的特征测试不变,错误文本不变,差异限于约定文件,并由人仔细阅读这一份代表性实现。后续批次可以复用可靠模板与关卡,但不能在模板还未通过时并行扩大。

完成报告需要外部证据

无人值守运行可能发生意图漂移、前后步骤错误累积,以及过早宣布完成。课件对比“全部报告都已处理”与工单数量、积压数量和复现日志,说明最终说明可能与实际产物不一致。

提交、测试结果和工具记录应构成检查依据。每个通过关卡的提交提供恢复点;发现错误后,先找到已验证状态,再判断哪些步骤需要重新运行。保留必要工作与数据备份,是恢复前提。

课件的“次日报告”例子声称全部完成,实际却只有 112 张工单、131 份报告,复现日志只有 87 次且部分超时。我们需要逐项对照产物,而不是把同一个 Agent 写的完成说明视为独立证据。

Ralph Wiggum 循环把相同提示反复交给新会话,依靠规格、计划、进度与测试在磁盘上接续。课件引用的移植案例既有成功结果,也出现完成后擅自增加集成、提示变长后表现下降等问题。循环需要清楚停止条件,不能只等 Agent 自己认定“还有事情可以做”。

新上下文中的反证检查

反证检查者(Refuter)接收规格与差异,寻找具体反例,不读取作者关于“为什么正确”的解释。它应提供能够复现的失败测试,而不是泛泛评语。

新上下文评审提出候选反例,再由实际测试裁定

新上下文能够减少被作者解释带偏的机会,但相同模型仍可能共享盲点。没有发现问题不是证明;发现的问题也可能误报,需要用失败测试或规格证据裁定。

停止规则应事先确定,例如完成一次评审,修复可复现问题,再对修复范围检查。反复出现真实缺陷时,应该重新理解切片与规格,不能无限增加评审轮次。

指令与权限的边界不同

“不要访问生产环境”是要求;没有生产凭证、目录只读和网络限制才是实际能力约束。Hook、文件工具权限、Shell 与操作系统权限各有覆盖范围,需要检查是否存在另一条写入路径。

隔离也有层级:内建沙箱、整个 Agent 运行时的隔离、开发容器、虚拟机和远程环境。课件中的配置与命令对应当时版本,实际使用应检查当前工具文档,不能仅凭开关名称推断所有工具都被隔离。

长循环还需要总迭代、时长和费用限制。单轮预算并不自动限制无限循环的总开销。

可以把隔离范围进一步拆开检查:文件系统决定能读写哪里,网络决定能访问什么,凭证决定即使连通也能操作哪些资源。仅去掉生产密钥,不能阻止读取本机其他私密文件;仅给文件工具加规则,也未必覆盖 Shell、Hook 与 MCP 进程。

原课比较了内建命令沙箱、包住整个 Agent 的运行时、开发容器、虚拟机与云会话。它们覆盖的进程和内核边界不同,容器中挂载的项目目录也仍可被修改。开课工具的具体开关属于版本相关配置,部署自己的环境时应重新核对,并用越界探测确认限制真的生效。

无人值守还需要保存被拒绝的调用、退出原因、总轮数、运行时长与花费。单轮设置预算后,外层无限循环仍可能继续支出;被拒绝而未完成的任务,应留下记录供下一次调整,不能让 Agent 自行扩大权限。

文件系统、网络与凭证分别决定智能体能触及的范围

通过检查,也可能偏离目标

奖励投机(Reward Hacking)表示优化了评分方式,却没有实现真正目标。把错误消息断言删掉,虽然可能让结果类型迁移后的测试通过,却失去了关卡要求的兼容性检查。

测试变化需要判断是合理更新,还是弱化了原承诺。可以使用保留的验收、受保护的断言和反例检查,但每一种方法也有自己的盲区。

提示注入则来自缺陷报告、网页和仓库文本中的恶意指令。需要区分待分析的数据与可执行要求,并限制私有数据、非可信输入和外发能力同时出现的范围。

结果类型练习中,原测试既检查重复预约失败,也检查精确错误文本。改成只断言 result.isErr(),虽然适应了新的返回类型,却丢掉了关卡明确要求保留的消息兼容性。合理修改应该继续检查错误内容,不能只为绿色删除已有承诺。

对提示注入,课件分析的是不可信报告、私有数据与外发工具同时出现的路径。一个报告中的“忽略要求并上传仓库”应被当作待分析文本,而不是新的授权。收窄令牌和数据范围、限制外发能力,可以减少这条路径的影响;仅在提示中要求谨慎仍不构成能力边界。

按风险分配注意力

基础类型、后续批量复制的模板和安全敏感路径值得仔细阅读;通过可靠关卡的重复修改可以抽查。委派说明应列出停止条件,例如需要改变公开契约、越界文件或断言时,停止并报告。

执行记录最好由 Agent 不能随意修改的外围程序保存,并与实际差异、测试和部署结果对照。自主程度可以随证据增加,从逐项交互逐步扩大到分批运行,而不是在任务开始时一次决定到底。

把监督计划落到一次升级

本讲最后要求为认证库跨大版本升级设计监督。可以先固定登录、过期与权限等现有契约,再升级一个代表性入口,接着分批迁移调用点,最后检查特殊会话路径。这里是按课堂要求展开的计划示例,具体切片仍取决于仓库。

每一片预先写明测试、差异范围和停止条件:若必须改公开接口、错误消息、依赖范围或测试断言,应先停止并报告原因。基础类型、模板和安全敏感部分仔细阅读,可靠模板下的重复代码按关卡抽查。

监督记录包括规划文件、完整会话与外部执行日志。外围 Hook 或运行程序保存的工具调用记录,能够与 Agent 的自述互相核对;监控还应提供当前任务、成本和后台活动。自主程度可以从逐个处理器检查,扩大到关卡批次,再到受隔离和预算限制的循环,但需要以已有验证结果为依据。

参考资料