项目2026-11-17 · 智涌AI

SkillEvaluator 是什么:NVIDIA 开源的 Agent Skill 评测工具

SkillEvaluator 项目头图:左侧大字「SkillEvaluator Skill 评测」与钩子「你的 Skill 有没有用,三层检查给出答案」,三张数据卡为 2,955 GitHub 星、最新版本 v0.9.0、6 种 Agent 加载检查;右侧流程图依次为 Tier 1 校验(格式、安全、能否加载)、Tier 2 去重(重复与重叠)、Tier 3 实测(装与不装对比 Skill Lift)

写好一个 Skill,最难判断的是它到底有没有用。格式对不对、Claude Code 和 Codex 能不能加载、和已有 Skill 是否重复、装上以后 Agent 的任务结果有没有变好,以前大多凭感觉。NVIDIA 开源的 SkillEvaluator 把这些拆成三层检查:静态校验、重复检测、带沙箱的真实 Agent 对比。这篇按官方 README、文档和 v0.9.0 发布说明,讲每一层查什么、需要准备什么,以及哪些命令不用任何模型 key 就能跑。

它是什么

SkillEvaluator 是一个命令行评测框架,对象是遵循 Agent Skills 规范的 Skill 文件夹和插件,也是 NVIDIA Verified Skills 流水线里的一环。可以在终端跑,可以接进 CI,也能作为 Skill 装给 Agent,让 Agent 替你评测。

仓库github.com/NVIDIA/SkillEvaluator
作者NVIDIA
许可证Apache-2.0
热度GitHub 2,955 星、405 fork(GitHub API,2026-11-17 北京时间);PyPI 近 7 天 1,634 次下载(pypistats,同日)
语言 / 运行要求Python,要求 ≥3.12、<3.15
最新版本v0.9.0(2026-11-13 19:03 北京时间)

解决什么问题

Skill 出问题时往往没有报错。文档举的例子是同一个 SKILL.md,Claude Code 能加载,Codex 却因为 YAML 解析差异直接丢掉,不会提示任何错误。SkillEvaluator 按三层来查:

层级回答的问题需要准备
Tier 1 校验格式是否规范、是否安全、各 Agent 能否加载完整静态扫描要外部扫描器(缺失时自动下载 SkillSpector、Gitleaks);LLM 检查需要模型
Tier 2 去重内容是否重复,和其他 Skill 是否重叠向量嵌入和聊天模型
Tier 3 实测装上 Skill 后 Agent 是否做得更好模型服务、受支持的 Agent、沙箱(默认 Docker)

Tier 3 的核心指标叫 Skill Lift,用同一批任务分别跑「带 Skill」和「不带 Skill」两组,看结果差多少,pass@k 作为可靠性参考。

怎么用

1. 安装。

pip install skillevaluator
# 或
uv tool install skillevaluator

2. 不用 key 的两条命令。harness-check 只读磁盘上的文件,一次给出 Claude Code、Codex、Copilot CLI、Hermes、OpenClaw、OpenCode 六种 Agent 的结论:正常加载、降级(例如描述被截断)或不加载,并附修改建议:

skillevaluator harness-check ./my-skill
skillevaluator validate ./my-skill --tiers 1

想先看一个完整例子,官方让你克隆仓库,对自带的 text-analyzer 示例跑静态质量评分。按 README,这个示例得 88.8/100(B),及格线默认 70:

git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv run --python 3.13 skillevaluator quality-check \
  src/skillevaluator/tier3/reference_skills/text-analyzer \
  -r cli -r json -o reports/first-quality

3. 接进 CI。在 GitHub 仓库里运行下面这条,它会开一个配置 PR,之后每次改 Skill 都跑 Tier 1:

skillevaluator ci init

4. 交给 Agent。用 npx skills 装上它自带的 Skill,然后直接问 Agent「我的 Skill 写得好不好」:

npx skills add NVIDIA/SkillEvaluator

5. 跑完整三层。配好模型服务、扫描器和 Docker 之后:

uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker
uv run --python 3.13 --extra all skillevaluator validate ./my-skill

模型服务可以用 NVIDIA Build 的托管端点,加入开发者计划后有免费原型额度(有速率限制),设 SKILL_EVAL_LLM_PROVIDER=nv_build 和 NVIDIA_API_KEY。

先用 harness-check 确认六个 Agent 都能加载,再去测效果。

装之前看这几条

适合谁,不适合谁

适合要维护一批 Skill、往团队或公开目录发 Skill 的人,尤其是同一个 Skill 要同时给 Claude Code 和 Codex 用的情况。只给自己写一两个 Skill 的,跑一次 harness-check 就够了。只关心安全扫描,可以单独用它依赖的 SkillSpector;刚开始写 Skill 的,先看站内的 第一个 Agent Skill 教程。

最后

手上有现成的 Skill 文件夹,先 pip install skillevaluator,跑一次 skillevaluator harness-check,看看六个 Agent 里有几个没加载它。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。