bmad-eval
A skill from the BMAD Method that runs a skill's evaluations through the agent tool the user works in and reports the results.
Was der Skill vermittelt
A skill from the BMAD Method that runs a skill's evaluations through the agent tool the user works in and reports the results. It has four modes: whether the skill beats the bare model on the same input, whether a stripped or earlier version does as well, whether output meets a named rubric with a grader subagent, and whether the skill's description triggers on the right queries. Each case runs in a clean temporary workspace outside the project, and bundled Python scripts run cases, test triggers, convert case files and summarise repeated runs. It refuses to invent cases, labels results from fewer than three runs a quick look, and suggests retiring a skill that no longer beats the baseline.
Funktionen
- Compare a skill against the bare model
- Test whether a stripped version does as well
- Grade output against a rubric
- Check whether a skill description triggers correctly
Überblick
- Herausgeber
- BMad Code
- Tool
- Testing
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- bmod.toml
- customize.toml
- evals/triggers.json
- references/description-optimization.md
- references/eval-format.md
- references/grader.md
- references/harness.md
- references/self-improvement.md
- scripts/aggregate_benchmark.py
- scripts/convert_cases.py
- scripts/eval_common.py
- scripts/run_evals.py
- scripts/run_triggers.py
- scripts/tests/fake_harness.py
- scripts/tests/test_aggregate_benchmark.py
- scripts/tests/test_convert_cases.py
- scripts/tests/test_eval_common.py
- scripts/tests/test_run_evals.py
- scripts/tests/test_run_triggers.py
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Testing | |
| Herausgeber | BMad Code | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 202655.252 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von BMad Code
10 Skills
- bmad-agent-pm (Skill)
- bmad-agent-po (Skill)
- bmad-brainstorming (Skill)
- bmad-build (Skill)
- bmad-deep-recon (Skill)
- bmad-toolsmith (Skill)
Auch zu finden unter: Testing
Quellen
- Skill-Datei (SKILL.md)github.com/bmad-code-org/BMAD-METHOD16. Nov. 2026
- GitHub-Repositorygithub.com/bmad-code-org/BMAD-METHOD · Belegt: Lizenz, Herausgeber16. Nov. 2026
- Datensatz aus der GitHub-APIgithub.com/bmad-code-org/BMAD-METHOD · Belegt: Enthält Skripte16. Nov. 2026
- GitHub-Repositorygithub.com/bmad-code-org/bmad-method · Belegt: Aktivität11. Nov. 2026
- Skill-Datei (SKILL.md)github.com/bmad-code-org/BMAD-METHOD · Belegt: Lizenz10. Nov. 2026
- Ordner im Repository (bmad-eval)github.com/bmad-code-org/BMAD-METHOD · Belegt: Enthält Skripte10. Nov. 2026