evaluating-llms-harness
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness.
スキルの内容
An optional skill in the Hermes Agent repository, credited to Orchestra Research, for benchmarking language models with EleutherAI's lm-evaluation-harness. The agent installs the lm-eval package and runs academic benchmarks such as MMLU, GSM8K, HellaSwag, ARC and HumanEval against Hugging Face checkpoints, quantised models or local checkpoints, optionally with vLLM as a faster backend. Worked examples show how to evaluate checkpoints during training and plot a learning curve, compare several models in a Markdown table, and deal with slow runs or memory errors. Code benchmarks need an explicit flag because they run generated code. It targets Linux and macOS.
できること
- Run MMLU, GSM8K and other benchmarks on a model
- Evaluate checkpoints during training
- Compare several models in one table
- Use vLLM as a faster evaluation backend
概要
- 公開元
- Nous Research
- ツール
- Hugging Face
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/api-evaluation.md
- references/benchmark-guide.md
- references/custom-tasks.md
- references/distributed-eval.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
| 項目 | 内容 | 出典 |
|---|---|---|
| 種類 | スキル | |
| ツール | Hugging Face | |
| 公開元 | Nous Research | 出典 |
| 公式かどうか | コミュニティ(ツールのベンダーによる公開ではありません) | 出典 |
| APIキーまたはサインインが必要 | ドキュメントに記載なし | |
| スクリプトを含む | いいえ | 出典 |
| プラットフォーム | Linux, macOS | 出典 |
| AIクライアント | ドキュメントに記載なし | |
| ライセンス | MIT | 出典 |
| 料金 | ドキュメントに記載なし | |
| 活動状況 | 最終コミット 2026年11月11日GitHubスター 262,606ダウンロード数のデータなし(npm・PyPIで未公開) | 出典 |
| リンク | リポジトリ Webサイト |
出典
- スキルファイル(SKILL.md)github.com/nousresearch/hermes-agent · 根拠となる項目:ライセンス, 公式かどうか, プラットフォーム2026年11月16日
- GitHubリポジトリgithub.com/nousresearch/hermes-agent · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- GitHub APIのレコードgithub.com/nousresearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月16日
- スキルファイル(SKILL.md)github.com/NousResearch/hermes-agent2026年11月10日
- リポジトリ内のフォルダ(evaluating-llms-harness)github.com/NousResearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月10日