agent-observability-build-eval-from-annotations
Ein Datadog-Skill, der menschliche Labels aus einer Annotation Queue von LLM Observability in einen Evaluator verwandelt.
Was der Skill vermittelt
Ein Datadog-Skill, der menschliche Labels aus einer Annotation Queue von LLM Observability in einen Evaluator verwandelt. Der Agent liest die Queue, ermittelt, auf welchen Teil jedes Traces sich die Labels beziehen, entwirft einen LLM-Judge, legt mit dir eine Bewertungsmetrik fest und misst den Judge an den gelabelten Zeilen. Danach überarbeitet er den Judge über eine begrenzte Zahl von Runden Änderung für Änderung, prüft ihn an zurückgehaltenen Zeilen und legt das Ergebnis in Datadog als Evaluator an, der deaktiviert bleibt, bis du ihn einschaltest. Er bringt einen lokalen Judge-Runner und ein Bewertungsskript mit und kann den Datadog-MCP-Server oder die pup CLI nutzen.
Funktionen
- Gelabelte Interaktionen aus einer Annotation Queue lesen
- Einen LLM-Judge entwerfen, der die menschlichen Labels vorhersagt
- Den Judge mit einer vereinbarten Metrik an vorhandenen Labels bewerten
- Den Judge über mehrere gemessene Runden verfeinern
- Den fertigen Evaluator deaktiviert in Datadog anlegen
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
Was enthalten ist
- references/judge_runner.py
- references/rubrics.md
- references/scoring.py
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-auto-experiment (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Badge für Ihre README
Sie pflegen dieses Projekt? Fügen Sie ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/datadog-labs-agent-observability-build-eval-from-annotations/)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Datei im Repository (agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte13. Nov. 2026
- Ordner im Repository (agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Alle ansehen →