Zum Inhalt springen
Kitbay

agent-observability-build-eval-from-annotations

MITAktualisiert am 9. Nov. 2026185GitHub-SterneEnthält Skripte

Ein Datadog-Skill, der menschliche Labels aus einer Annotation Queue von LLM Observability in einen Evaluator verwandelt.

Was der Skill vermittelt

Ein Datadog-Skill, der menschliche Labels aus einer Annotation Queue von LLM Observability in einen Evaluator verwandelt. Der Agent liest die Queue, ermittelt, auf welchen Teil jedes Traces sich die Labels beziehen, entwirft einen LLM-Judge, legt mit dir eine Bewertungsmetrik fest und misst den Judge an den gelabelten Zeilen. Danach überarbeitet er den Judge über eine begrenzte Zahl von Runden Änderung für Änderung, prüft ihn an zurückgehaltenen Zeilen und legt das Ergebnis in Datadog als Evaluator an, der deaktiviert bleibt, bis du ihn einschaltest. Er bringt einen lokalen Judge-Runner und ein Bewertungsskript mit und kann den Datadog-MCP-Server oder die pup CLI nutzen.

Funktionen

  • Gelabelte Interaktionen aus einer Annotation Queue lesen
  • Einen LLM-Judge entwerfen, der die menschlichen Labels vorhersagt
  • Den Judge mit einer vereinbarten Metrik an vorhandenen Labels bewerten
  • Den Judge über mehrere gemessene Runden verfeinern
  • Den fertigen Evaluator deaktiviert in Datadog anlegen