SkillFeeder › 全部 Skill › Bug与质量 › huggingface-community-evals
huggingface-community-evals
huggingface-community-evals 是 SkillFeeder 收录的Agent Skill，来自 GitHub 仓库 huggingface/skills，★ 11,332。本地运行 Hugging Face 模型评测，支持 inspect-ai 和 lighteval。适合本地评测模型的工程师。场景是Bug与质量 · 测试验证。能做的事包括本地 GPU 上执行模型评测、自动选择 vLLM/Transformers/Accelerate 后端、支持任务筛选与烟雾测试。打开 GitHub 自行安装。
能做什么
- 本地 GPU 上执行模型评测
- 自动选择 vLLM/Transformers/Accelerate 后端
- 支持任务筛选与烟雾测试
原文简介
Run evaluations for Hugging Face Hub models using inspect-ai and lighteval on local hardware. Use for backend selection, local GPU evals, and choosing between vLLM / Transformers / accelerate. Not for HF Jobs orchestration, model-card PRs, .eval_results publication, or community-evals automation.
同场景推荐
- finishing-a-development-branch所在仓库 obra/superpowers，仓库 ★ 315,846自动验证测试、识别环境、提供并执行合并策略，完成开发分支收尾
- test-driven-development所在仓库 obra/superpowers，仓库 ★ 315,846先写失败测试，再写最小实现代码，确保每次交付都经测试验证
- verification-before-completion所在仓库 obra/superpowers，仓库 ★ 315,846运行验证命令并确认输出后，才声明任务完成或修复成功。
- writing-plans所在仓库 obra/superpowers，仓库 ★ 315,846根据需求规格生成可直接执行的工程师级实现计划
- writing-skills所在仓库 obra/superpowers，仓库 ★ 315,846用测试驱动方式编写、修改和验证 agent 技能文档
- agent-runtime-gateway-smoke-test所在仓库 affaan-m/ECC，仓库 ★ 300,897端到端验证本地 agent API、临时网关隧道与远程沙箱回调链路
- ai-regression-testing所在仓库 affaan-m/ECC，仓库 ★ 300,897自动检测AI自写自审引入的回归缺陷，无需数据库即可运行沙箱测试。
- api-connector-builder所在仓库 affaan-m/ECC，仓库 ★ 300,897按项目现有风格快速生成合规的 API 连接器