eval-harness
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work.
Was der Skill vermittelt
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work. Before coding, the agent writes capability evals for new behaviour and regression evals against a baseline, stored under .claude/evals; it then implements, runs them and reports pass and fail counts. Graders can be code checks such as tests or builds, a model scoring against a rubric, rule or schema checks, or a human for risky changes such as security. Reliability is tracked as pass@k and the stricter pass^k. Bundled local scripts keep hash-linked records of runs, but executing candidate code is disabled on every system until a reviewed isolation layer exists.
Funktionen
- Define capability and regression evals before coding
- Grade results with code, model or human checks
- Track pass@k and pass^k reliability
- Write an eval report for a feature
Überblick
- Herausgeber
- affaan-m
- Tool
- Testing
Funktioniert mit
Installation
Was enthalten ist
- agents/openai.yaml
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Testing | |
| Herausgeber | affaan-m | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | Claude Code, Codex | Quelle |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 17. Nov. 2026305.644 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Weitere Kopien dieses Skills (1)
Ihr Text weicht von diesem Skill ab. Es kann sich um angepasste Kopien oder ältere Versionen handeln.
- eval-harnessgongyijie85/dsh-ecc
Mehr von affaan-m
35 Skills
- brand-discovery (Skill)
- brand-voice (Skill)
- context-and-decisions (Skill)
- docs-governance (Skill)
- e2e-testing (Skill)
- fal-ai-media (Skill)
Auch zu finden unter: Testing
Quellen
- GitHub-Repositorygithub.com/affaan-m/ecc · Belegt: KI-Clients, Lizenz, Herausgeber, Aktivität18. Nov. 2026
- Skill-Datei (SKILL.md)github.com/affaan-m/ecc16. Nov. 2026
- Skill-Datei (SKILL.md)github.com/affaan-m/ECC18. Nov. 2026
- Ordner im Repository (eval-harness)github.com/affaan-m/ECC · Belegt: Enthält Skripte18. Nov. 2026