huggingface-community-evals
Hugging Face's skill for evaluating Hub models on the user's own hardware.
Was der Skill vermittelt
Hugging Face's skill for evaluating Hub models on the user's own hardware. It helps the agent choose between inspect-ai and lighteval, and between vLLM, Transformers and accelerate as the inference backend, then run smoke tests and full task runs with bundled uv scripts. One script evaluates a model through inference providers without a local GPU; the others drive local GPU runs. It deliberately stops at producing results: running the same evaluation on Hugging Face Jobs, editing model cards or publishing scores is handed to other skills or workflows. A Hugging Face token is needed for gated models and provider calls.
Funktionen
- Run inspect-ai evaluations against Hub models
- Run lighteval with vLLM or accelerate on a local GPU
- Pick an inference backend and fall back when one fails
Überblick
- Herausgeber
- Hugging Face
- Tool
- Hugging Face
Installation
- Führe diesen Befehl aus, um ihn zu Beliebiger Client hinzuzufügen:
hf skills add huggingface-community-evals --global
Was enthalten ist
- examples/.env.example
- examples/USAGE_EXAMPLES.md
- scripts/inspect_eval_uv.py
- scripts/inspect_vllm_uv.py
- scripts/lighteval_vllm_uv.py
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Hugging Face | |
| Herausgeber | Hugging Face | Quelle |
| Offizieller Status | OffiziellHugging Face Hub docs link to the huggingface/skills repository | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | Apache-2.0 | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 202611.334 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Weitere Kopien dieses Skills (3)
Ihr Text weicht von diesem Skill ab. Es kann sich um angepasste Kopien oder ältere Versionen handeln.
- huggingface-community-evalswaybarrios/opencode-power-pack
- huggingface-community-evalspracticalswan/agent-skills
- huggingface-community-evalsbg-szy/top-skills
Mehr von Hugging Face
1 Server · 26 Skills
- hf-mcp (Skill)
- hf-cli (Skill)
- hf-mem (Skill)
- huggingface-best (Skill)
- huggingface-datasets (Skill)
- hf-cloud-python-env-setup (Skill)
Badge für deine README
Du pflegst dieses Projekt? Füge ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/huggingface-huggingface-community-evals/)
Quellen
- Skill-Datei (SKILL.md)github.com/huggingface/skills10. Nov. 2026
- Webseitehuggingface.co · Belegt: Offizieller Status12. Nov. 2026
- Lizenzdatei (LICENSE)github.com/huggingface/skills · Belegt: Lizenz12. Nov. 2026
- GitHub-Repositorygithub.com/huggingface/skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (huggingface-community-evals)github.com/huggingface/skills · Belegt: Enthält Skripte10. Nov. 2026