evaluating-llms-harness
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness.
O que a skill ensina
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness. The agent installs the lm-eval package and runs academic benchmarks such as MMLU, GSM8K, HellaSwag, ARC and HumanEval against Hugging Face checkpoints, quantised models or local checkpoints, optionally with vLLM as a faster backend. Worked examples show how to evaluate checkpoints during training and plot a learning curve, compare several models in a Markdown table, and deal with slow runs or memory errors. Code benchmarks need an explicit flag because they run generated code. It targets Linux and macOS.
O que faz
- Run MMLU, GSM8K and other benchmarks on a model
- Evaluate checkpoints during training
- Compare several models in one table
- Use vLLM as a faster evaluation backend
Sobre
- Publicador
- Nous Research
- Ferramenta
- Hugging Face
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- references/api-evaluation.md
- references/benchmark-guide.md
- references/custom-tasks.md
- references/distributed-eval.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Hugging Face | |
| Publicador | Nous Research | fonte |
| Status oficial | Comunidade (não publicado pelo fornecedor da ferramenta) | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Linux, macOS | fonte |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de nov. de 2026262.606 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Fontes
- Arquivo da skill (SKILL.md)github.com/nousresearch/hermes-agent · Comprova: Licença, Status oficial, Plataformas16 de nov. de 2026
- Repositório no GitHubgithub.com/nousresearch/hermes-agent · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Registro na API do GitHubgithub.com/nousresearch/hermes-agent · Comprova: Inclui scripts16 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/NousResearch/hermes-agent10 de nov. de 2026
- Pasta no repositório (evaluating-llms-harness)github.com/NousResearch/hermes-agent · Comprova: Inclui scripts10 de nov. de 2026