bmad-eval
A skill from the BMAD Method that runs a skill's evaluations through the agent tool the user works in and reports the results.
スキルの内容
A skill from the BMAD Method that runs a skill's evaluations through the agent tool the user works in and reports the results. It has four modes: whether the skill beats the bare model on the same input, whether a stripped or earlier version does as well, whether output meets a named rubric with a grader subagent, and whether the skill's description triggers on the right queries. Each case runs in a clean temporary workspace outside the project, and bundled Python scripts run cases, test triggers, convert case files and summarise repeated runs. It refuses to invent cases, labels results from fewer than three runs a quick look, and suggests retiring a skill that no longer beats the baseline.
できること
- Compare a skill against the bare model
- Test whether a stripped version does as well
- Grade output against a rubric
- Check whether a skill description triggers correctly
概要
- 公開元
- BMad Code
- ツール
- テスト
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- bmod.toml
- customize.toml
- evals/triggers.json
- references/description-optimization.md
- references/eval-format.md
- references/grader.md
- references/harness.md
- references/self-improvement.md
- scripts/aggregate_benchmark.py
- scripts/convert_cases.py
- scripts/eval_common.py
- scripts/run_evals.py
- scripts/run_triggers.py
- scripts/tests/fake_harness.py
- scripts/tests/test_aggregate_benchmark.py
- scripts/tests/test_convert_cases.py
- scripts/tests/test_eval_common.py
- scripts/tests/test_run_evals.py
- scripts/tests/test_run_triggers.py
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
詳細
出典
- スキルファイル(SKILL.md)github.com/bmad-code-org/BMAD-METHOD2026年11月16日
- GitHubリポジトリgithub.com/bmad-code-org/BMAD-METHOD · 根拠となる項目:ライセンス, 公開元2026年11月16日
- GitHub APIのレコードgithub.com/bmad-code-org/BMAD-METHOD · 根拠となる項目:スクリプトを含む2026年11月16日
- GitHubリポジトリgithub.com/bmad-code-org/bmad-method · 根拠となる項目:活動状況2026年11月11日
- スキルファイル(SKILL.md)github.com/bmad-code-org/BMAD-METHOD · 根拠となる項目:ライセンス2026年11月10日
- リポジトリ内のフォルダ(bmad-eval)github.com/bmad-code-org/BMAD-METHOD · 根拠となる項目:スクリプトを含む2026年11月10日