Zum Inhalt springen
Kitbay

agent-observability-eval-bootstrap

MITAktualisiert am 9. Nov. 2026185GitHub-Sterne

Ein Datadog-Skill, der Evaluatoren für eine LLM-Anwendung vorschlägt, indem er ihre Produktions-Traces in Datadog LLM Observability untersucht.

Was der Skill vermittelt

Ein Datadog-Skill, der Evaluatoren für eine LLM-Anwendung vorschlägt, indem er ihre Produktions-Traces in Datadog LLM Observability untersucht. Ausgehend von einer ml_app und optional dem Ergebnis einer Ursachenanalyse zieht der Agent Stichproben von Spans, ermittelt, was geprüft werden sollte, und schlägt Online-Evaluatoren mit LLM-Judge vor; nach deiner Bestätigung legt er sie in Datadog als deaktivierte Entwürfe an. Auf Wunsch schreibt er stattdessen Python-Evaluator-Code für das ddtrace SDK oder eine frameworkunabhängige JSON-Spezifikation; außerdem kann er aus den Traces ein Dataset erzeugen. Er nutzt den Datadog-MCP-Server oder die pup CLI.

Funktionen

  • Stichproben von LLM-Produktions-Traces für eine ml_app ziehen
  • Evaluatoren mit LLM-Judge auf Basis der Traces vorschlagen
  • Evaluatoren nach Bestätigung als deaktivierte Entwürfe in Datadog anlegen
  • Python-Evaluator-Code oder eine JSON-Evaluator-Spezifikation erzeugen
  • Ein Dataset aus Traces erzeugen