Agent 完成证据:用截图和录屏验收,别只信「做完了」

Agent 说「做完了」不算完成。Warp 官方把 Computer Use 录屏/截图当成可交给评审的完成证据;Anthropic 的 Computer Use 文档也反复要求:每步后截图核对,别信模型口头成功。这篇讲清「完成证据」怎么定、PR 里放什么、和站内 Computer Use 概论怎么衔接——付费云 Agent 与正式录屏流程我们未跑通,标「未实测」。
说明:产品能力描述以 Warp 文档与博客、Anthropic Computer Use 文档为准。我们未开通 Warp 云 Agent 做完整录屏,也未调用付费 Computer Use API。
完成证据是什么
编码 Agent 交 PR 时,常见只有一段文字:「已实现某某、测过了」。评审还得自己起环境点一遍。Warp 的 Computer Use 文档把另一条路径写死:Agent 在隔离沙箱里驱动真实 GUI,录下操作,把剪过空转、叠了动作标注的视频和截图当作制品;开/更新 PR 时可以自动附上(默认按链接分享,Embed 模式会变成可公开下载的 URL,团队要自己选)。
他们的工厂系列博客把用途拆成三处:分流阶段复现 bug;实现阶段对照规格验收;评审阶段让人「看见」行为,而不是只读 diff。低风险纯 UI 改动时,看完录屏再决定要不要深挖代码,能省一轮来回。
「我测过了」是主张;截图和录屏才是证据。没有可观察终点,Agent 很容易在循环里自我感觉良好。
Warp 录屏管线(按官方步骤)
- 云 Agent 跑次上默认开 Computer Use(除非你关了)。
- 会话批准后,沙箱内开始屏幕采集——不录你本机桌面和本机凭证。
- Agent 截图、点击、输入、滚动;每次成功交互记下起止与光标轨迹。
- 任务结束或触达时长/体积上限后停止;后处理剪掉思考与空闲间隙,叠快捷键标签、点击涟漪、拖拽轨迹;打字内容显示为「typing…」,避免把敏感输入烧进画面。
- 成品作为 run 制品;也可出现在对话块、Oz Web 的 Runs 页,并按设置附到 PR 描述(每 PR 最多约 10 张截图;单段录屏上限文档写明 10 分钟 / 1 GiB)。
官方举例:改完 Tab 颜色设置后,要求先录「关闭时无色」,再录「打开后按色板轮转」;或按 issue 步骤复现「Ctrl+C 无法回到提示符」——录屏要么露出 bug,要么没有,歧义比文字少。
| 模式 | 问什么 | 证据长什么样 |
|---|---|---|
| reproduce | 报告里的 bug 是否真的出现 | 按复现步骤的录屏/关键帧截图 + 观察记录 |
| verify | 新行为是否达到验收标准 | 对照故事清单的录屏;多步流程优先视频,单帧静态可用截图 |
开源演示仓库里的 verify-behavior Skill 还要求:优先平台原生录屏制品与可回放的 run 链接;多步交互不要只交截图;从未走到 Computer Use 的「验证」视为不完整。你用别的 harness 时,把「可回放制品 + 明确验收句」留下即可,不必绑死某一家 URL 格式。
Anthropic 侧:每步截图再往下
Anthropic Computer Use 文档给过一组性能提示,和「完成证据」直接相关:模型有时会假定动作已成功。可写明——每步后截图,用一句话描述画面并判断是否达标,未达标就重试,确认后再进下一步;一批动作结束也用截图收尾。目标状态要写成耐久可见的东西:URL 变了、确认页出现、表格多了一行;闪一下就消失的 toast 不够,Agent 会反复提交。
这和站内 Computer Use 是什么 是同一条线:模型只看图、出动作;执行环在沙箱里点;你要的是回传画面,而不是模型最后一句「好了」。
落到团队规范的三句话
- PR 模板加证据栏:录屏或关键帧截图链接、对应验收句、环境/run 标识。没有证据栏就不进评审队列(站内 编码 Agent 实战 写过同类约定)。
- 工单先写可观察终点:「按钮变绿且列表出现新行」比「实现清空功能」好验收;终点含糊,验证 Agent 只能空转。
- 能 API/MCP 就别硬上桌面:有稳定接口时,接口返回值也是证据,往往比 GUI 录屏便宜。GUI 留给「只能点界面」的路径。
常见坑
- 只信模型自报。没有截图/录屏/接口断言就合并。
- 终点不可观察。成功态是 2 秒 toast,录屏永远对不齐。
- Embed 公开了不该公开的画面。Warp 文档提醒:Embed 下制品 URL 可被能读 PR 的人下载;含敏感 UI 时用仅链接 + 权限校验。
- 本地占前台录屏。本机 Computer Use 常抢焦点;云沙箱更适合当默认验证环境(各产品能力以官方为准)。
- 取消会话丢录屏。Warp 写明:录制中取消对话,录屏会被丢弃而不是上传。
完成标准
- 能区分「文字摘要」和「可回放完成证据」。
- 能写出一条带 reproduce/verify 模式的验收提示词草稿。
- 能在 PR 模板里列出证据栏必填项,并说明何时用 API 断言代替 GUI 录屏。
最后
先把「什么叫做完」写成可观察句子,再让 Agent 去点界面。概念不清时,先读 Computer Use 概论;要拦危险命令,可对照 Claude Code Hooks 实战。