教程2026-11-05 · 智涌AI

Agent 评测集怎么搭:任务、协议和可信分数

Agent 评测集设计教程头图:左侧 SWE-bench 68.3% 题被筛、7 条好基准标准、4 项可信报分数据卡,右侧题目卡片 YAML 展示问题描述、固定环境和验证命令

团队想知道「换个模型、换套提示词,编程 Agent 到底变好了没有」,最后都得自己搭一套评测集。斯坦福 2026 秋季课程 CS329Z(Engineering AI Agents,由 Diyi Yang、Michael Ryan、John Yang 主讲)第 13 讲专门讲 Agent 评测基准怎么设计,第 12 讲讲数据怎么筛。下面把两讲的课件整理成一份能照着做的清单:任务怎么写、评测协议要定哪些参数、怎样的分数才可信。

Agent 评测和问答评测不是一回事

课件把基准分成三类来比。普通 LM 基准是「输入一道题,输出一个答案」;Agent 基准的输入是任务加一个环境,中间有多轮「动作—观察」交互,输出是一条轨迹外加一个被改动过的环境。所以给 Agent 打分,往往要看环境的最终状态,而不只看最后一句话。

基准任务怎么判分
SWE-bench按 GitHub issue 改真实仓库跑单元测试
Tau-bench客服对话中调用工具对比数据库最终状态
Terminal-bench89 道难题,每题一个 Docker 环境环境里的测试脚本
VendingBench长期经营一台售货机最终净资产
AIRS-bench20 个机器学习研究任务任务指标

课件给的定义是:基准 = 任务表述 + 评测协议。前者回答「考什么」,后者回答「怎么考」。内部评测常常只写了前者,换个人跑,数就不一样。

第一步:每道题写清三件事

下面是一个题目卡片的示例格式(字段是本文为说明而拟的,不是课件原文):

id: fix-date-parse-001
statement: issues/1234.md          # 问题描述
env:
  image: team/app-env:2026-11-01   # 固定镜像版本
  repo_commit: 3f2a9c1
verify:
  cmd: pytest tests/test_dates.py -q
  pass_if: exit_code == 0

第二步:把评测协议写死

同一批题,协议不同,分数就不能比。课件列的协议参数如下,建议逐项写进评测仓库的 README:

分数只在协议相同的前提下才能比较;换了 harness 或预算,就是另一场考试。

harness 本身对结果影响很大,站内harness 复盘一文有具体例子。

第三步:筛题,别把坏题留在集子里

第 12 讲举了 SWE-bench 的例子:OpenAI 请 93 名 Python 开发者标注了 1,699 道随机抽取的 SWE-bench 题,每题 3 人标注、取最严重的标签。结果 38.3% 的问题描述不够明确,61.1% 的题被标为单元测试不公平(可能把正确解判错),合计 68.3% 的题被筛掉,剩下的就是 SWE-bench Verified。

课件总结的筛题顺序是四步:

  1. 去掉坏掉或不稳定的题。
  2. 实际跑一遍,确认题目有效。
  3. 留下模型「有时能做对」的题,全对和全错的都区分不出模型。
  4. 模型变强后重新挑题。

同一讲还提醒:在同等数量下,筛过的数据比随机抽的好;但更大的未筛数据集仍可能胜出。筛选在候选池有限时最有用,而真正带来泛化的是多样性。

第四步:用七条标准自检

标准自检问题
有难度当前最好的模型还没做满分吗?
贴近真实题目像真实工作里会遇到的吗?
有区分度强弱模型的分数拉得开吗?
好跑同事一个下午能跑起来吗?是否一个安装脚本、写明系统要求、配置能从命令行传?
好验证判分是确定的,不靠人看?
可解释分数变了,能说清是哪类题变了吗?
耐用半年后还不会被刷满吗?

「好验证」这一条,课件专门列了用模型当裁判(LM-as-a-judge)的毛病:偏爱更长的回答、偏爱和自己风格相近的输出、可以被针对性刷分,换个提示词或换个裁判模型分数就变。主观质量确实要靠模型打分时,做法见客观与主观评审分开。

基准也有寿命。课件把它概括为「提出 → 改进 → 饱和 → 替换」,例子有 MMLU 到 MMLU-Pro(选项从 4 个加到 10 个)再到 GPQA、HLE,SWE-bench Verified 到 Multilingual、Pro,τ-bench 到 τ²-bench。自己的评测集一旦接近满分,就该进入下一轮。

第五步:报一个可信的分数

课件引的是古德哈特定律:指标一旦成了目标,就不再是好指标。

常见坑

完成标准

最后

先从团队最近 20 个真实工单里挑题,按第一步写成题目卡片,跑一轮再按第三步筛掉坏题。课程主页和全部课件见下方来源。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。