教程2026-11-09 · 智涌AI

同模型换 Agent 外壳:成本差一倍,规则该放哪

Agent 外壳评测教程头图:柱状图对比 Opus 5.5 上 QM、Claude Code、Hermes Agent、OpenClaw 每解出一题成本,OpenClaw 为 0.44 美元最高;标注 Claude Code 0.22 美元、未点名 Skill 30 轮被打开 0 次

同一个 Opus 5.5,套进 Claude Code、Hermes、OpenClaw、QM 四种外壳去做同一批办公任务,通过率差不多,解出一道题的钱却能差一倍。11 月初开源的 harness-evals 把模型和任务钉死,只换 harness(系统提示、工具、记忆这一圈外围设计),量出了通过率、每解出一题的成本和耗时。下面拆它的数字,再讲三件能直接搬回自己项目的事:怎么比外壳、规则放哪、Skill 怎么才会被用上。

同模型换外壳:通过率分不开,钱分得开

前置条件很少:会用 Claude Code 或 Codex,能看懂 API 账单。评测本身是 MIT 许可的开源仓库 garrytan/g-harness-evals,任务是一家虚构公司的多人办公场景,在模拟的 Slack 里让 Agent 当团队机器人,处理权限、审批和别人事后的纠正。判分看任务结束后的系统状态和事件日志,不看 Agent 自己怎么汇报。主榜 7 个组合,20 道公开开发集任务各跑 4 次,共 560 次试验。

模型外壳通过率每解出一题成本单次耗时中位数
Opus 5.5QM72.5%$0.1940.1 秒
Claude Code76.3%$0.2240.1 秒
Hermes Agent78.8%$0.2464.6 秒
OpenClaw76.3%$0.4499.4 秒
GPT-6.1 SolCodex71.3%$0.1730.1 秒
Hermes Agent75.0%$0.1981.5 秒
OpenClaw73.7%$0.2283.6 秒

通过率全挤在 71.3% 到 78.8% 之间,每个 95% 区间宽 32 到 39 个点,20 道题里有 14 道在所有组合下得分完全一样。作者自己也说题目快饱和了,小于 7.7 到 14.2 个点的差距在这套题上根本测不出来。所以榜单按成本排:成本是总花费按标价计,除以通过的题数,包括被排除的试验。Claude Code 和 Codex 各自只能跑自家模型,两者之间不做比较。

题目太简单时,通过率比不出东西。去比做对一道题各家花了多少钱、多少秒。

贵在哪:每次请求重发的上下文

OpenClaw 在 Opus 上贵了一倍,仓库单独做了一轮成本拆解:同样 80% 通过率,Claude Code 每次试验比它少花 $0.165,差价里约 81% 是缓存写入,原因是 OpenClaw 每次请求重发的系统提示和工具结果大得多。Sol 上则是输出量:OpenClaw 输出 282,492 个 token,Codex 只有 32,226 个。Hermes 在 Sol 上每次试验多发 423 kB 工具 schema,请求次数 16.7 对 11.6。

搬回自己项目的做法:别只看模型单价,先看外壳每轮带了多少东西。MCP 工具一多,schema 每轮都要重发,这和 Skill 瘦身是同一个道理。

规则放哪,Agent 才会每轮都照做

仓库用一条 289 字节的规则「先查 gbrain」做实验:Agent 在第一次回复前调用了 gbrain,就算这一轮照做了。10 道任务、30 轮成员对话的结果:

在 Claude Code 里,「启动文件」对应 CLAUDE.md,「每轮 hook」对应 UserPromptSubmit。官方 hooks 文档写明,这个事件的 hook 输出纯文本时,内容会作为上下文加进这一轮。最小配置写在 .claude/settings.json:

{
  "hooks": {
    "UserPromptSubmit": [
      {
        "hooks": [
          { "type": "command",
            "command": "cat \"$CLAUDE_PROJECT_DIR\"/.claude/turn-rules.md" }
        ]
      }
    ]
  }
}

这个事件不支持 matcher,写了也会被忽略。文档还提醒两件事:输出超过 10,000 字符会被存成文件、只给预览;措辞写成事实陈述(「本仓库用 bun test」)比写成系统指令更稳,后者可能被模型当成提示注入。更多 hook 用法见 Claude Code hooks 护栏。

Skill 不点名,可能一次都不会被打开

同样那条规则改成一个没人提起的 Skill:Codex 30/30、OpenClaw 29/30 都用上了;Hermes 和 Claude Code 上模型每次请求都能看到 Skill 名字,30 轮里打开 0 次。Claude Code 的提示里加一句「Use the brain-first skill.」,立刻变成 30/30。

所以在 Claude Code 里依赖某个 Skill 时,在提示或 CLAUDE.md 里写明「做 X 时用 Y skill」,或者直接用斜杠命令调用,别指望它自己翻。

精简提示词要在会失败的题上试

在简单题上,删掉 Claude Code 的记忆与 Skills 说明(每次请求 8.4 KB)能省 19% 成本,通过率也没掉。换到更难、依赖记忆的题上,把这段和工具描述里的建议一起删掉,通过率从 60.4% 掉到 0.0%。完整提示下有 37/48 次试验写了自动记忆文件,29 次通过全都有;删减后的 96 次一次都没写。想裁系统提示省钱,先找一批 Agent 真会做错的题来验,别在送分题上下结论。

常见坑

坑怎么处理
拿这份榜直接选外壳都是公开开发集、固定版本下的结果,不是留出集确认;换成你的任务再比
把外壳差异当成纯外壳差异每个外壳只配一个模型,差异是外壳加模型的组合
忽略利益关联README 披露:gstack、gbrain 是维护者自己的项目,QM 是 YC 项目,YC 投了 Hermes;看这几行时心里有数
OpenClaw 和 QM 的数字OpenClaw 两个组合最后一题因花费上限停跑;QM 用默认 Docker 网络,网络条件没对齐

自己想复核,仓库的 scripts/replicate.ts 有两种免费模式:--reanalyze 用试验包重跑分析脚本,--estimate-only 估算重跑花费;付费重跑要自己的 key,并用 --max-usd 设硬上限。自己搭评测集的思路可以配合 Agent 评测基准设计清单。

完成标准

最后

挑 5 到 10 个你每周都会交给 Agent 的真实任务,用两种外壳各跑几遍,按「总花费 ÷ 做对的题数」算一次账,再决定主力用哪个。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。