eval-harness
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work.
O que a skill ensina
A skill from the ECC collection for eval-driven development in AI coding sessions, treating evals as the unit tests of agent work. Before coding, the agent writes capability evals for new behaviour and regression evals against a baseline, stored under .claude/evals; it then implements, runs them and reports pass and fail counts. Graders can be code checks such as tests or builds, a model scoring against a rubric, rule or schema checks, or a human for risky changes such as security. Reliability is tracked as pass@k and the stricter pass^k. Bundled local scripts keep hash-linked records of runs, but executing candidate code is disabled on every system until a reviewed isolation layer exists.
O que faz
- Define capability and regression evals before coding
- Grade results with code, model or human checks
- Track pass@k and pass^k reliability
- Write an eval report for a feature
Sobre
- Publicador
- affaan-m
- Ferramenta
- Testes
Funciona com
Instalação
O que tem dentro
- agents/openai.yaml
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Testes | |
| Publicador | affaan-m | fonte |
| Status oficial | Não informado na documentação | |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Claude Code, Codex | fonte |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 17 de nov. de 2026305.644 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Outras cópias desta skill (1)
Elas têm diferenças no texto em relação a esta skill. Podem ser cópias adaptadas ou versões mais antigas.
- eval-harnessgongyijie85/dsh-ecc
Mais de affaan-m
35 skills
- brand-discovery (Skill)
- brand-voice (Skill)
- context-and-decisions (Skill)
- docs-governance (Skill)
- e2e-testing (Skill)
- fal-ai-media (Skill)
Também listado em: Testes
Fontes
- Repositório no GitHubgithub.com/affaan-m/ecc · Comprova: Clientes de IA, Licença, Publicador, Atividade18 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/affaan-m/ecc16 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/affaan-m/ECC18 de nov. de 2026
- Pasta no repositório (eval-harness)github.com/affaan-m/ECC · Comprova: Inclui scripts18 de nov. de 2026