SkillEvaluator(技能质量评估)

作者 算力观察

自己写的 AI 技能到底有没有用,通常只能凭感觉。SkillEvaluator 是 NVIDIA 开源的三层评估框架:先做质量检查,再跑有技能和没技能的对照实验。GitHub 1135 星。

Github
Skill 编程开发 v1.0.0 热度 275

将提示词发送给你的 AI 安装该 Skill

复制下方提示词,粘贴到 Cursor / Claude Code / WorkBuddy 等本地 Agent,按说明安装。

请根据 https://www.cweto.cn/?ai_hub=skill_install ,安装本站 Skill @ai_hub/work-152(SkillEvaluator(技能质量评估))。
详情页:https://www.cweto.cn/work-152.html
GitHub:https://github.com/NVIDIA/SkillEvaluator
请装到当前 Agent 的 skills 目录(见安装说明中的路径表),完成后重启或刷新 Agent。
安装说明 GitHub
支持的本地 Agent 目录
  • Claude Code → ~/.claude/skills/
  • Cursor → ~/.cursor/skills/
  • Windsurf → ~/.codeium/windsurf/skills/
  • Codex → ~/.codex/skills/
  • Gemini CLI → ~/.gemini/skills/
  • WorkBuddy → ~/.workbuddy/skills/
  • OpenClaw 变体 → 各自 skills 目录

Skill 说明

SkillEvaluator 是什么

SkillEvaluator 用来检查 AI 智能体技能的质量,并量化它对任务结果的影响:先做质量门禁,再对比「带技能」和「不带技能」两种跑法,看真实收益。

它属于 NVIDIA Verified Skills 流水线的一部分。技能在这里指按 Agent Skills 规范组织的指令和附属文件夹。

层检查什么是否需要模型
第一层 质量门禁结构、元数据、语义重叠,基础合规不需要,纯静态
第二层 语义评估与已有技能的重复度和冲突可选
第三层 效果对照有技能 / 无技能跑同一批任务,比结果差异需要,可接 NVIDIA Build

可以只跑第一层做快速检查,也可以把三层串成一条流水线跑完。

SkillEvaluator 怎么安装

# pip 安装
pip install skillevaluator

# 也可以在支持技能的智能体里直接装
npx skills add NVIDIA/SkillEvaluator

SkillEvaluator 怎么使用

  1. 先跑静态检查:skillevaluator validate ./my-skill --tiers 1
  2. 要接进仓库流水线:skillevaluator ci init
  3. 需要效果对照时接上模型跑完整三层
  4. 在 Claude Code 或 Codex 里装好技能后直接问「我这个技能靠谱吗」

SkillEvaluator 适合谁用

  • 自己维护 AI 技能、想验证真实效果的开发者
  • 要在团队里做技能准入评审的工程负责人
  • 做技能市场、需要自动质量门禁的平台方

SkillEvaluator 项目地址

  • GitHub 仓库:https://github.com/NVIDIA/SkillEvaluator