hillclimb-skill
A skill from Caliper, a tool for evaluating agent skills, that improves an existing SKILL.md against its evaluation one change per round. It needs an evaluation with at least eight tasks.
Was der Skill vermittelt
A skill from Caliper, a tool for evaluating agent skills, that improves an existing SKILL.md against its evaluation one change per round. It needs an evaluation with at least eight tasks. After asking for the goal (a higher score or fewer tokens), the part to change, the smallest gain worth keeping and a round budget, it runs a baseline twice to measure noise and holds out a third of the tasks. Each round reads failures from the remaining tasks, makes the smallest general fix and keeps it only if the held-out tasks improve too. It finishes by restoring the highest-scoring version on held-out tasks, comparing it with the baseline, and leaving the edits uncommitted.
Funktionen
- Measure an evaluation's noise floor
- Split tasks into training and held-out sets
- Make and test one skill change per round
- Report held-out results against the baseline
Überblick
- Herausgeber
- Emrick Donadei
- Tool
- Testing
Funktioniert mit
Installation
- Führe diesen Befehl aus, um ihn zu Beliebiger Client hinzuzufügen:
npx skills@latest add edonadei/caliper
Was enthalten ist
- REFERENCE.md
- climb.py
- hillclimb-skill.eval.yaml
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Testing | |
| Herausgeber | Emrick Donadei | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | Claude Code, Codex | Quelle |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 10. Nov. 2026230 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Auch zu finden unter: Testing
Quellen
- GitHub-Repositorygithub.com/edonadei/caliper · Belegt: KI-Clients, Lizenz, Herausgeber, Aktivität11. Nov. 2026
- Skill-Datei (SKILL.md)github.com/edonadei/caliper15. Nov. 2026
- Ordner im Repository (hillclimb-skill)github.com/edonadei/caliper · Belegt: Enthält Skripte15. Nov. 2026