教程2026-11-19 · 智涌AI

编程 Agent 花钱值不值:LangSmith 算出每个 PR 成本

LangSmith 编程 Agent 成本教程头图:左侧编程 Agent 每 PR 成本大字和 5 种 Agent、3 步接入、6 类工作类型数据卡,右侧看板卡片网格列出每合并 PR 成本、未归属花费、最贵 PR、按轮数成本、Skill 调用和工作类型

团队里有人用 Claude Code,有人用 Codex、Cursor,月底账单一出来,没人说得清这些 token 换来了什么。LangChain 11 月 18 日把 LangSmith 的编程 Agent 看板推到公开测试:把各家 Agent 的会话追踪汇到一处,再和 GitHub/GitLab 的 PR 关联,直接算出「每个合并 PR 花了多少钱」。这篇按官方博客和文档,把接入步骤、看板怎么读、怎么拿数据改团队习惯讲一遍。

前置条件:确认你的工作区类型

第一步:给每个编程 Agent 装追踪插件

官方支持五种:Claude Code、OpenAI Codex、Cursor、VS Code 里的 GitHub Copilot,以及自建 Agent 用的 Deep Agents。以 Claude Code 为例,在会话里运行三条命令:

/plugin marketplace add langchain-ai/langsmith-claude-code-plugins
/plugin install langsmith-tracing@langsmith-claude-code-plugins
/reload-plugins

然后用 LangSmith CLI 登录一次:

langsmith auth login

追踪默认是关的,要在 ~/.claude/langsmith.json 里打开,并指定发往哪个 Agent:

{ "enabled": true, "agent_id": "shared-claude" }

如果这个 agent_id 还不存在,用官方插件发过去的追踪会自动创建一个类型为 Coding 的 Agent。发一条消息后,运行 /langsmith-tracing:trace 能拿到当前对话的追踪链接。

文档建议把团队所有编程 Agent 都发到同一个 LangSmith Agent,这样能跑同一套评估器,再按 harness(Claude Code、Codex 等)分组对比。要覆盖每位工程师,管理员可以用 MDM 统一安装 Claude Code、Codex、Cursor 插件,并锁定追踪目的地。

第二步:连上 GitHub 或 GitLab

在 Agent 的 Overview 页点 Track pull requests,连接 GitHub 或 GitLab 账号。对应规则有三条,搞清楚能省很多「为什么这个 PR 没数据」的排查:

一个会话开出多个 PR、一个 PR 由多个会话完成,两种情况官方博客都写明会正确归属。

第三步:读懂看板上的几张卡

卡片看什么
LLM cost / Threads / Turns per thread总花费、会话数、每个会话平均几轮,始终显示
Cost / merged PR、Cache rate、Time to merge连上代码仓库后出现,合并率显示在 Time to merge 里
Cost per PR by state打开、关闭、已合并 PR 各自的平均成本
Top PRs by cost最贵的 PR,带作者、会话数、轮数
Cost by conversation length按轮数分组的总成本和每轮成本
Work type按 feature、bugfix、refactor、investigation、review、off topic 分类,需要先配内置的 Coding Work Type 评估器
Skill usageAgent 调用了哪些 Skill

每张卡都能点开看趋势,按 PR 状态、用户、仓库、harness、模型等维度分组,再点进具体会话。

没有落到任何 PR 上的花费单独算作「未归属」。读代码、审查、排查问题经常不产出 PR,这部分钱未必浪费,点进去看会话内容再判断。

每合并 PR 成本给财务看单价,未归属花费给工程看去向。两个数要放在一起读。

第四步:拿数据改三个习惯

长对话该不该拆。每多一轮,模型都要把之前的对话再带一遍,所以长会话的每轮成本更高。官方博客提到,花费会集中在很长的会话里,而 Anthropic 的 Claude Code 成本指南也建议任务之间清空上下文。先在团队里推「一个任务一个会话」,过一两周看 Cost by conversation length,长会话占比有没有下来。

换模型值不值。换模型前后按模型分组看成本,再看同一时段 Time to merge 卡里的合并率。成本降了、合并率没掉,才算换对。把子 Agent 换成比主 Agent 小的模型也能这样验证省了多少。

哪个 Skill 在烧钱。某个 Skill 老出现在又长又贵的会话里,可能是它的指令让 Agent 多绕了几轮,改写它是最快的尝试;反过来,常出现在短会话且最后合并的 Skill,值得推给更多人。新 Skill 可以先给几个人用,再对比用和不用的会话成本与合并 PR 数。

Top PRs by cost 也能用来带人:同类活别人花得少很多,点开会话看是用了更合适的模型,还是没让会话无限拉长。

常见坑

完成标准

只想先在个人层面省 token,可以看 TokenEconomizer 和 Agent harness 成本与规则放哪。

最后

官方建议从一个 Agent、一个仓库开始,第一批会话进来后就能看到按 PR 拆开的花费,先跑一周再决定要不要全员铺开。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。