eval-harness
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work.
スキルの内容
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work. Before coding, the agent writes capability evals for new behaviour and regression evals against a baseline, stored under .claude/evals; it then implements, runs them and reports pass and fail counts. Graders can be code checks such as tests or builds, a model scoring against a rubric, rule or schema checks, or a human for risky changes such as security. Reliability is tracked as pass@k and the stricter pass^k. Bundled local scripts keep hash-linked records of runs, but executing candidate code is disabled on every system until a reviewed isolation layer exists.
できること
- Define capability and regression evals before coding
- Grade results with code, model or human checks
- Track pass@k and pass^k reliability
- Write an eval report for a feature
概要
- 公開元
- affaan-m
- ツール
- テスト
インストール
含まれるファイル
- agents/openai.yaml
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
このスキルのほかのコピー(1件)
このスキルとは内容が異なります。手を加えたコピーか、古いバージョンの可能性があります。
- eval-harnessgongyijie85/dsh-ecc
affaan-mのほかの掲載
スキル35件
- brand-discovery (スキル)
- brand-voice (スキル)
- context-and-decisions (スキル)
- docs-governance (スキル)
- e2e-testing (スキル)
- fal-ai-media (スキル)
こちらにも掲載: テスト
出典
- GitHubリポジトリgithub.com/affaan-m/ecc · 根拠となる項目:AIクライアント, ライセンス, 公開元, 活動状況2026年11月18日
- スキルファイル(SKILL.md)github.com/affaan-m/ecc2026年11月16日
- スキルファイル(SKILL.md)github.com/affaan-m/ECC2026年11月18日
- リポジトリ内のフォルダ(eval-harness)github.com/affaan-m/ECC · 根拠となる項目:スクリプトを含む2026年11月18日