SkillEvaluator 是什么:NVIDIA 开源的 Agent Skill 评测工具

写好一个 Skill,最难判断的是它到底有没有用。格式对不对、Claude Code 和 Codex 能不能加载、和已有 Skill 是否重复、装上以后 Agent 的任务结果有没有变好,以前大多凭感觉。NVIDIA 开源的 SkillEvaluator 把这些拆成三层检查:静态校验、重复检测、带沙箱的真实 Agent 对比。这篇按官方 README、文档和 v0.9.0 发布说明,讲每一层查什么、需要准备什么,以及哪些命令不用任何模型 key 就能跑。
它是什么
SkillEvaluator 是一个命令行评测框架,对象是遵循 Agent Skills 规范的 Skill 文件夹和插件,也是 NVIDIA Verified Skills 流水线里的一环。可以在终端跑,可以接进 CI,也能作为 Skill 装给 Agent,让 Agent 替你评测。
| 仓库 | github.com/NVIDIA/SkillEvaluator |
|---|---|
| 作者 | NVIDIA |
| 许可证 | Apache-2.0 |
| 热度 | GitHub 2,955 星、405 fork(GitHub API,2026-11-17 北京时间);PyPI 近 7 天 1,634 次下载(pypistats,同日) |
| 语言 / 运行要求 | Python,要求 ≥3.12、<3.15 |
| 最新版本 | v0.9.0(2026-11-13 19:03 北京时间) |
解决什么问题
Skill 出问题时往往没有报错。文档举的例子是同一个 SKILL.md,Claude Code 能加载,Codex 却因为 YAML 解析差异直接丢掉,不会提示任何错误。SkillEvaluator 按三层来查:
| 层级 | 回答的问题 | 需要准备 |
|---|---|---|
| Tier 1 校验 | 格式是否规范、是否安全、各 Agent 能否加载 | 完整静态扫描要外部扫描器(缺失时自动下载 SkillSpector、Gitleaks);LLM 检查需要模型 |
| Tier 2 去重 | 内容是否重复,和其他 Skill 是否重叠 | 向量嵌入和聊天模型 |
| Tier 3 实测 | 装上 Skill 后 Agent 是否做得更好 | 模型服务、受支持的 Agent、沙箱(默认 Docker) |
Tier 3 的核心指标叫 Skill Lift,用同一批任务分别跑「带 Skill」和「不带 Skill」两组,看结果差多少,pass@k 作为可靠性参考。
怎么用
1. 安装。
pip install skillevaluator
# 或
uv tool install skillevaluator
2. 不用 key 的两条命令。harness-check 只读磁盘上的文件,一次给出 Claude Code、Codex、Copilot CLI、Hermes、OpenClaw、OpenCode 六种 Agent 的结论:正常加载、降级(例如描述被截断)或不加载,并附修改建议:
skillevaluator harness-check ./my-skill
skillevaluator validate ./my-skill --tiers 1
想先看一个完整例子,官方让你克隆仓库,对自带的 text-analyzer 示例跑静态质量评分。按 README,这个示例得 88.8/100(B),及格线默认 70:
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-quality
3. 接进 CI。在 GitHub 仓库里运行下面这条,它会开一个配置 PR,之后每次改 Skill 都跑 Tier 1:
skillevaluator ci init
4. 交给 Agent。用 npx skills 装上它自带的 Skill,然后直接问 Agent「我的 Skill 写得好不好」:
npx skills add NVIDIA/SkillEvaluator
5. 跑完整三层。配好模型服务、扫描器和 Docker 之后:
uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker
uv run --python 3.13 --extra all skillevaluator validate ./my-skill
模型服务可以用 NVIDIA Build 的托管端点,加入开发者计划后有免费原型额度(有速率限制),设 SKILL_EVAL_LLM_PROVIDER=nv_build 和 NVIDIA_API_KEY。
先用 harness-check 确认六个 Agent 都能加载,再去测效果。
装之前看这几条
- 静态通过不代表能发布。只跑 quality-check 时,发布证据会标成 INCOMPLETE:安全要扫描器,效果要 Tier 3。
--no-llm不跳过扫描器。扫描器跑不起来,结果是 INCOMPLETE 并以非零码退出,CI 会因此变红。- Tier 3 花钱。模型调用和托管沙箱都可能计费;v0.9.0 新增了 token、裁判调用次数、费用上限,超限时保留已完成的结果。
- 会下载第三方软件。README 提醒它会自动下载并安装其他开源项目,用前看一下各自的许可证。
- 0.9.0 有行为变化。生成评测数据集默认改为
auto取材,只给 Skill 本身时要加--grounding skill。
适合谁,不适合谁
适合要维护一批 Skill、往团队或公开目录发 Skill 的人,尤其是同一个 Skill 要同时给 Claude Code 和 Codex 用的情况。只给自己写一两个 Skill 的,跑一次 harness-check 就够了。只关心安全扫描,可以单独用它依赖的 SkillSpector;刚开始写 Skill 的,先看站内的 第一个 Agent Skill 教程。
最后
手上有现成的 Skill 文件夹,先 pip install skillevaluator,跑一次 skillevaluator harness-check,看看六个 Agent 里有几个没加载它。