huggingface-community-evals
Hugging Face's skill for evaluating Hub models on the user's own hardware.
O que a skill ensina
Hugging Face's skill for evaluating Hub models on the user's own hardware. It helps the agent choose between inspect-ai and lighteval, and between vLLM, Transformers and accelerate as the inference backend, then run smoke tests and full task runs with bundled uv scripts. One script evaluates a model through inference providers without a local GPU; the others drive local GPU runs. It deliberately stops at producing results: running the same evaluation on Hugging Face Jobs, editing model cards or publishing scores is handed to other skills or workflows. A Hugging Face token is needed for gated models and provider calls.
O que faz
- Run inspect-ai evaluations against Hub models
- Run lighteval with vLLM or accelerate on a local GPU
- Pick an inference backend and fall back when one fails
Sobre
- Publicador
- Hugging Face
- Ferramenta
- Hugging Face
Instalação
- Execute este comando para adicionar ao Qualquer cliente:
hf skills add huggingface-community-evals --global
O que tem dentro
- examples/.env.example
- examples/USAGE_EXAMPLES.md
- scripts/inspect_eval_uv.py
- scripts/inspect_vllm_uv.py
- scripts/lighteval_vllm_uv.py
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Esta skill inclui scripts que o seu agente pode executar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Hugging Face | |
| Publicador | Hugging Face | fonte |
| Status oficial | OficialHugging Face Hub docs link to the huggingface/skills repository | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Sim | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | Apache-2.0 | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de nov. de 202611.334 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Outras cópias desta skill (3)
Elas têm diferenças no texto em relação a esta skill. Podem ser cópias adaptadas ou versões mais antigas.
- huggingface-community-evalswaybarrios/opencode-power-pack
- huggingface-community-evalspracticalswan/agent-skills
- huggingface-community-evalsbg-szy/top-skills
Mais de Hugging Face
1 servidor · 26 skills
- hf-mcp (Skill)
- hf-cli (Skill)
- hf-mem (Skill)
- huggingface-best (Skill)
- huggingface-datasets (Skill)
- hf-cloud-python-env-setup (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/huggingface-huggingface-community-evals/)
Fontes
- Arquivo da skill (SKILL.md)github.com/huggingface/skills10 de nov. de 2026
- Página webhuggingface.co · Comprova: Status oficial12 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/huggingface/skills · Comprova: Licença12 de nov. de 2026
- Repositório no GitHubgithub.com/huggingface/skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Pasta no repositório (huggingface-community-evals)github.com/huggingface/skills · Comprova: Inclui scripts10 de nov. de 2026