evaluating-llms-harness
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness.
Was der Skill vermittelt
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness. The agent installs the lm-eval package and runs academic benchmarks such as MMLU, GSM8K, HellaSwag, ARC and HumanEval against Hugging Face checkpoints, quantised models or local checkpoints, optionally with vLLM as a faster backend. Worked examples show how to evaluate checkpoints during training and plot a learning curve, compare several models in a Markdown table, and deal with slow runs or memory errors. Code benchmarks need an explicit flag because they run generated code. It targets Linux and macOS.
Funktionen
- Run MMLU, GSM8K and other benchmarks on a model
- Evaluate checkpoints during training
- Compare several models in one table
- Use vLLM as a faster evaluation backend
Überblick
- Herausgeber
- Nous Research
- Tool
- Hugging Face
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- references/api-evaluation.md
- references/benchmark-guide.md
- references/custom-tasks.md
- references/distributed-eval.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Hugging Face | |
| Herausgeber | Nous Research | Quelle |
| Offizieller Status | Community (nicht vom Hersteller des Tools veröffentlicht) | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | Linux, macOS | Quelle |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 2026262.606 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Quellen
- Skill-Datei (SKILL.md)github.com/nousresearch/hermes-agent · Belegt: Lizenz, Offizieller Status, Plattformen16. Nov. 2026
- GitHub-Repositorygithub.com/nousresearch/hermes-agent · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Datensatz aus der GitHub-APIgithub.com/nousresearch/hermes-agent · Belegt: Enthält Skripte16. Nov. 2026
- Skill-Datei (SKILL.md)github.com/NousResearch/hermes-agent10. Nov. 2026
- Ordner im Repository (evaluating-llms-harness)github.com/NousResearch/hermes-agent · Belegt: Enthält Skripte10. Nov. 2026