教程2026-11-17 · 智涌AI

你的产品也有 Agent 用户:端到端评测找出它卡在哪

Agent 评测教程头图:左侧大字「给产品做 Agent 评测」与钩子「Agent 也是你的用户,跑 5 次看它能不能每次都对」,三张数据卡为成功率 60% 与 pass^5 8%、两句话修 Skill 前 4/15、统一 Skill 修好后 70/72 次通过;右侧柱状图对比 Together 统一 Skill 第一版 75% 与修复后 97.2% 的通过率,底注路由文件从 14,000 字符缩到 6,000 字符以内

越来越多的人不再自己读文档调接口,而是丢一句话给 Claude Code 或 Codex,让它去用你的 API、CLI 或 SDK。Agent 做错了,日志里往往一片正常:请求成功、订单下了,只是下成了热拿铁。Vercel 和 Together AI 在 11 月 16 日各发了一篇长文,讲怎么给「Agent 用户」做端到端评测。这篇把两篇的做法合起来,整理成可以照着搭的五步。

Agent 也要走完一遍用户漏斗

Vercel 把 Agent 使用一个产品的过程分成四段:发现(Discovery)、选择(Selection)、接入(Access)、完成任务(Success)。每一段都会掉人,和人类用户一样。评测可以覆盖任意一段,两篇文章重点讲的是最后一段:Agent 有没有把用户交代的事做对。

这一段难在结果会变。同一个提示词跑两次,可能一次对一次错,手动试一回说明不了问题。评测的定义很朴素:同一批任务跑很多次,给结果打分,改动前后各跑一遍做对比。

先挑最便宜的那一层

Vercel 按一次测试要调几次大模型来分层,和传统测试金字塔一个思路,便宜快的放底下、占大头:

层大模型调用回答的问题例子(一个点咖啡的 CLI)
确定性测试0 次软件本身行为对不对quote 算税和小费算得对不对
单轮评测1 次Agent 第一步选的命令和参数对不对看到菜单价后,会不会先报价再下单
端到端评测2 次以上整件事最后做没做对是否只下了一单:大杯冰拿铁、9 点前取、含小费不超 8 美元

用法是从想抓的问题倒推:能用确定性测试抓住的,就别上端到端。「任务做没做对」只能看完整流程,因为每一步单看都合理,最后照样可能错。SWE-bench、Terminal-Bench 这类编程基准就是端到端评测。

五步搭一个端到端评测

1. 定一个窄目标。别想着全覆盖。目标从三处找:可观测数据(哪些 Agent 在用、在哪失败)、客户反馈(工单、流失)、路线图上最想验证的假设。Vercel 的例子里,头号工单是「Agent 给我点错了饮料」,目标就定成提高这一项的成功率,取消、退款先不管。

2. 选指标。三个成功类指标回答的问题不同:

Vercel 的示例里 5 次过了 3 次,成功率 60%;按独立试验估算,pass@5 约 99%,pass^5 只有约 8%。两个数都对。点早餐咖啡这种事做错没有重来的机会,所以盯 pass^k;编程 Agent 有测试兜底、能自己改,盯 pass@k;起草邮件用户发之前会看,看成功率就够了。效率类指标(步数、耗时、成本)只在成功的试验里算,失败的往往是偷懒少走了步骤,混进去会拉低平均值。

只跑 5 次就是 100%,意思是「还没见过失败」,不是「永远不会失败」。

3. 写任务集。Vercel 用的是 Harbor,Terminal-Bench 作者做的开源框架,在容器里跑 Agent、检查结果、记录过程。一个任务是一个文件夹:

tasks/iced-latte-mission/
├── instruction.md   # 用户原话,点名用哪个工具、现在几点
├── task.toml        # 超时、检查脚本、要保存的产物
├── environment/     # Dockerfile + 被测 CLI + 预置数据(时钟冻结在 8:30)
├── solution/solve.sh  # 已知正确解,先证明任务能做
└── tests/test.sh      # 检查脚本,按约束分别打分

检查脚本把每条约束单独打分,全部满足才给 1,写进 /logs/verifier/reward.json。这样失败时一眼看出是哪条没满足,比如饮料对、时间对、超了预算。任务集要有常见情况、容易绊倒 Agent 的边缘情况,还要有至少一个「正确做法是不动手、告诉用户做不到」的任务。

4. 跑起来。Vercel 给的命令(他们测试用的版本):

uv tool install --python 3.12 'harbor[vercel]==0.24.0' --with 'vercel==0.10.0'
vercel login && vercel link && vercel env pull
harbor run -c job.yaml   # 4 个任务 × 4 种配置 × 5 次 = 80 次试验
harbor view jobs         # 看结果和每次的轨迹

job.yaml 里列出要对比的配置(Claude Code、Codex 各配不同模型),每个试验跑在单独的 Vercel Sandbox 里,模型调用走 AI Gateway。按文中说法,Hobby 套餐最多同时跑 10 个沙箱。示例里把 OIDC 令牌作为环境变量传进沙箱,文章自己也提醒这只适合演示,正式用要换短期凭据并用防火墙规则限制每个沙箱能访问的主机。

5. 读轨迹。分数告诉你多常失败,轨迹告诉你为什么。失败的要看,通过的也要抽查。试验多了,Vercel 的做法是让最多 40 个用快模型的「阅读 Agent」并行读轨迹写摘要,再由一个更强的协调 Agent 汇总成报告。

真正的问题常常不在模型

Together AI 的文章补上了「读完轨迹之后改什么」。他们每个任务按三种配置跑:什么都不给(基线)、接上文档 MCP、装上官方 Skill 包;三个模型、每个两次,再由大模型裁判判成通过、未完成、失败三档。

几个具体发现:

他们还提到一点:强模型会绕过你的缺陷。同一个 GPU 任务 Opus 4.8 14 次过了 13 次,它发现接口没返回价格就自己去文档里找。只拿最强的模型测,这类坑很久都发现不了。

常见坑

完成标准

想先补团队内部的评测流程,可以看站内评测驱动开发三步教程;Skill 写得太胖的问题,见给 Agent Skill 瘦身。

最后

如果你的产品有 CLI 或 API,挑客户投诉最多的那一件事,写一个任务、一个按约束打分的检查脚本,让 Claude Code 和 Codex 各跑 5 次,先看一眼 pass^5 是多少。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。