hillclimb-skill
A skill from Caliper, a tool for evaluating agent skills, that improves an existing SKILL.md against its evaluation one change per round. It needs an evaluation with at least eight tasks.
スキルの内容
A skill from Caliper, a tool for evaluating agent skills, that improves an existing SKILL.md against its evaluation one change per round. It needs an evaluation with at least eight tasks. After asking for the goal (a higher score or fewer tokens), the part to change, the smallest gain worth keeping and a round budget, it runs a baseline twice to measure noise and holds out a third of the tasks. Each round reads failures from the remaining tasks, makes the smallest general fix and keeps it only if the held-out tasks improve too. It finishes by restoring the highest-scoring version on held-out tasks, comparing it with the baseline, and leaving the edits uncommitted.
できること
- Measure an evaluation's noise floor
- Split tasks into training and held-out sets
- Make and test one skill change per round
- Report held-out results against the baseline
概要
- 公開元
- Emrick Donadei
- ツール
- テスト
インストール
- すべてのクライアントに追加するには、次のコマンドを実行します:
npx skills@latest add edonadei/caliper
含まれるファイル
- REFERENCE.md
- climb.py
- hillclimb-skill.eval.yaml
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
出典
- GitHubリポジトリgithub.com/edonadei/caliper · 根拠となる項目:AIクライアント, ライセンス, 公開元, 活動状況2026年11月11日
- スキルファイル(SKILL.md)github.com/edonadei/caliper2026年11月15日
- リポジトリ内のフォルダ(hillclimb-skill)github.com/edonadei/caliper · 根拠となる項目:スクリプトを含む2026年11月15日