huggingface-community-evals
Hugging Face's skill for evaluating Hub models on the user's own hardware.
スキルの内容
Hugging Face's skill for evaluating Hub models on the user's own hardware. It helps the agent choose between inspect-ai and lighteval, and between vLLM, Transformers and accelerate as the inference backend, then run smoke tests and full task runs with bundled uv scripts. One script evaluates a model through inference providers without a local GPU; the others drive local GPU runs. It deliberately stops at producing results: running the same evaluation on Hugging Face Jobs, editing model cards or publishing scores is handed to other skills or workflows. A Hugging Face token is needed for gated models and provider calls.
できること
- Run inspect-ai evaluations against Hub models
- Run lighteval with vLLM or accelerate on a local GPU
- Pick an inference backend and fall back when one fails
概要
- 公開元
- Hugging Face
- ツール
- Hugging Face
インストール
- すべてのクライアントに追加するには、次のコマンドを実行します:
hf skills add huggingface-community-evals --global
含まれるファイル
- examples/.env.example
- examples/USAGE_EXAMPLES.md
- scripts/inspect_eval_uv.py
- scripts/inspect_vllm_uv.py
- scripts/lighteval_vllm_uv.py
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
詳細
| 項目 | 内容 | 出典 |
|---|---|---|
| 種類 | スキル | |
| ツール | Hugging Face | |
| 公開元 | Hugging Face | 出典 |
| 公式かどうか | 公式Hugging Face Hub docs link to the huggingface/skills repository | 出典 |
| APIキーまたはサインインが必要 | ドキュメントに記載なし | |
| スクリプトを含む | はい | 出典 |
| プラットフォーム | ドキュメントに記載なし | |
| AIクライアント | ドキュメントに記載なし | |
| ライセンス | Apache-2.0 | 出典 |
| 料金 | ドキュメントに記載なし | |
| 活動状況 | 最終コミット 2026年11月11日GitHubスター 11,334ダウンロード数のデータなし(npm・PyPIで未公開) | 出典 |
| リンク | リポジトリ Webサイト |
このスキルのほかのコピー(3件)
このスキルとは内容が異なります。手を加えたコピーか、古いバージョンの可能性があります。
- huggingface-community-evalswaybarrios/opencode-power-pack
- huggingface-community-evalspracticalswan/agent-skills
- huggingface-community-evalsbg-szy/top-skills
Hugging Faceのほかの掲載
サーバー1件 · スキル26件
- hf-mcp (スキル)
- hf-cli (スキル)
- hf-mem (スキル)
- huggingface-best (スキル)
- huggingface-datasets (スキル)
- hf-cloud-python-env-setup (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/huggingface-huggingface-community-evals/)
出典
- スキルファイル(SKILL.md)github.com/huggingface/skills2026年11月10日
- Webページhuggingface.co · 根拠となる項目:公式かどうか2026年11月12日
- ライセンスファイル(LICENSE)github.com/huggingface/skills · 根拠となる項目:ライセンス2026年11月12日
- GitHubリポジトリgithub.com/huggingface/skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(huggingface-community-evals)github.com/huggingface/skills · 根拠となる項目:スクリプトを含む2026年11月10日