Meta 用 Agent 8 周做出 Forum:完成标准定在验证

让 Agent 写代码不难,难的是它交回来的东西你敢不敢合并。Meta 用一个小团队从零做了独立 App Forum(给想深聊 Facebook 小组话题的人用),8 周做到和 Facebook 小组核心功能对齐。他们在 2026-10-15 的工程博客里复盘,衡量成败用的不是代码量,而是「能构建、过测试、过审查」的改动。这篇把他们的做法拆成能照搬到自己项目里的几步。
人从「在环里」挪到「在环上」
原文用两个词区分两种工作方式。人在环里(human-in-the-loop):工程师推进每一步,AI 在步骤里帮忙补全函数、建议修复、回答问题,节奏取决于人。人在环上(human-on-the-loop):Agent 自己跑完一整轮「规划、实现、构建、测试、修正」,工程师定目标、看着跑、跑偏了介入、最后批准结果。人的活从执行步骤变成对结果负责、守住质量线。Meta 也说这是目标而非现状,有些环节已经能自主跑,有些仍要工程师每轮参与。
前提是交回来的东西可信。没有验证,Agent 写的代码只是「看起来对」,工程师还得读、调、扔掉一部分,瓶颈从写代码挪到了审代码。
编译通过不算完成。自动测试和视觉检查都过了,任务才算完成;Agent 在工程师看到之前先检查自己的活。
第一步:把验证信号塞进 Agent 的循环里
Meta 接进循环的是三个能自动判过 / 不过的信号:构建状态、单元测试、UI 规格比对。信号在循环内部,Agent 失败了自己修,修好才交。交出来的是一个可以直接审的 PR,带预先填好的测试计划和录下来的验证过程。每个上线的改动仍要工程师签字,他们的力气花在让签字又快、证据又足:构建结果、测试结果、验证录像都挂在改动上。
原文的原话是,能放心交给循环多少活,取决于你有多信任这些验证器。所以落地顺序是先补验证器,再放手。
| 环节 | 常见做法 | Forum 的做法 |
|---|---|---|
| 规划 | 工程师凭直觉补齐模糊处 | 先写成技术规格,拆细,给机器可读的上下文 |
| 完成标准 | 能编译、自己点一点 | 构建 + 单元测试 + UI 规格比对全过 |
| 交付物 | 一段代码 | PR + 测试计划 + 验证录像 |
| 回归测试 | 人手动回归 | 导航 Agent 像真人一样操作线上 App,持续跑同样的路径 |
| 上线后 | 熟悉代码的人去查 | Agent 根据用户反馈做根因分析,写好报告交工程师判断 |
第二步:给工具,别给描述
他们遇到最多的失败是 Agent 搞不清自己在 App 的哪个页面:让它改小组主页,它去改首页信息流;要点某个按钮,它猜屏幕坐标。解决办法是不再向 Agent 描述 App 长什么样,而是给它三个能直接查的工具:从模拟器读实时视图层级、列出屏幕上实际存在的元素、查到达目标视图的路径,动手之前先查。原文说改错地方的情况大幅减少,后来凡是 Agent 碰系统的地方,都按这个思路给「查状态」的能力。
放到自己项目里,可以先问一句:Agent 现在是靠读文档猜状态,还是能直接查到?Web 项目给它浏览器和 DOM 查询,后端给它能读日志和数据库的只读工具,都是同一个思路。
第三步:用五件套把循环固定下来
- Rules:永久的项目指令。Agent 同一个错犯了两次以上,就把纠正写一次,所有人共享。
- Skills:把团队约定变成 Agent 能加载调用的步骤。
- Agents:把以前要人手过一遍的检查自动化。
- Commands:把 Skills 和 Agents 串成流程,原文的例子是评估复杂度、复现 bug、规划并实现修复、建 PR、跑多阶段审查。
- Hooks:自动触发器,比如 Agent 每一轮结束后跑 linter、安装前检查模拟器连接、建 PR 前校验测试。
Claude Code、Codex、Cursor 里都有对应的东西:规则文件、Skill、子 Agent、斜杠命令、钩子。名字不同,分工一样。
第四步:改代码和工具,比改提示词管用
原文明确说最大的收益来自改代码和工具链,而不是提示词。几条具体做法:
- 代码库尽量好读:关键部分模块化,方便 Agent 即插即用;实在改不动的老代码就重写,用复用换 Agent 的吞吐量。Agent 会照着读到的代码学模式,弱模式修一次,以后每个会话都受益;不修,同样的捷径会出现在它之后写的所有东西里。
- 原型和生产在构建层隔离:功能开关不够,因为原型代码仍在生产包里。他们做了一个单独的构建变体(沙盒 App),和生产共用代码库、框架和设计系统,但通过插件 / 插槽架构把原型代码从生产构建里整个编译掉。设计师可以自己用 AI 做原型,做好的东西能直接搬进生产,原型代码也不可能让生产 App 崩,因为它根本不在那个包里。
- 上下文比提示词重要:有一类排查任务一直做不好,直到给 Agent 和新员工第一天同样的东西:相关代码的位置、示例查询、设计文档。这类任务的质量随即跳了一截。区别是新人要一个个教,Agent 教一次,之后每个会话都从这里开始。
第五步:让 Agent 当压力测试员
他们没让 Agent 去找某个特定 bug,而是设了几组可重复的压力场景,模仿真实用户:疯狂滚动、随机逛小组、快速切页面、反复加载媒体,每个构建都跑。这些场景产出稳定的信号:崩溃、内存增长、缺页、UI 回退。Agent 据此分诊异常,缩小到触发序列,再查根因。
其中一次跑出了内存问题。Agent 隔离出复现步骤、提出修复、用同一套场景验证,全部发生在开发阶段。按原文的结果,内存占用和缺页大约减半。
常见坑
- 验证器还不可信就放手:测试覆盖薄、视觉检查缺位时,Agent 自检通过也说明不了什么,只会把审查压力推给人。
- 规格写得模糊:工程师能凭直觉补的空白,Agent 会直接做错,这些要在规划阶段写进规格。
- 用描述代替工具:「首页在左边、小组页在右边」这种文字说明,换来的是改错文件和猜坐标。
- 只用功能开关藏原型:代码还在生产包里,崩起来照样影响真实用户。
- 把「什么算好」交给 Agent 定:Meta 刻意把目标留给人,判断好结果长什么样是产品决定。
完成标准
- 项目里写明了「完成」= 哪几个自动检查全过,Agent 交付前会自己跑。
- PR 模板要求附测试计划和验证证据(截图、录屏或测试输出)。
- Agent 至少有一个「查当前状态」的工具,不再靠文字描述定位。
- 重复出现两次以上的错误已经写进规则文件。
- 有一组可重复跑的压力或回归场景,结果能被 Agent 读到。
最后
挑你项目里 Agent 最常返工的一类任务,先只做一件事:把它的完成标准写成几个能自动判过 / 不过的检查,接进它的循环。Meta 同一套「人在环上」思路用在测试上的例子,见 JiTTests 是什么;管理多个 Agent 时怎么收验证证据,见 Coding Agent 怎么管:简报、验证闭环与并行上限。