Zum Inhalt springen
Kitbay

agent-observability-eval-pipeline

MITAktualisiert am 9. Nov. 2026185GitHub-SterneEnthält Skripte

Ein Datadog-Skill, der die anderen Agent-Observability-Skills für eine instrumentierte LLM-Anwendung zu einem geführten Durchlauf verkettet.

Was der Skill vermittelt

Ein Datadog-Skill, der die anderen Agent-Observability-Skills für eine instrumentierte LLM-Anwendung zu einem geführten Durchlauf verkettet. In Stufen, zwischen denen er jeweils auf dein Okay wartet, klassifiziert der Agent Produktions-Traces, findet die Ursachen von Fehlern, schlägt Evaluatoren vor, zieht Stichproben für ein Dataset und veröffentlicht es in Datadog, erzeugt und startet ein Experiment und analysiert die Ergebnisse. Du kannst nach jeder Stufe aufhören. Er bringt einen kleinen Python-Helfer mit, der das Dataset veröffentlicht, und arbeitet über den Datadog-MCP-Server oder die pup CLI.

Funktionen

  • Produktions-Traces einer LLM-Anwendung klassifizieren
  • Fehlerursachen ermitteln und Evaluatoren vorschlagen
  • Ein Evaluations-Dataset zusammenstellen und in Datadog veröffentlichen
  • Ein Experiment erzeugen, ausführen und analysieren
  • Zwischen den Stufen auf Bestätigung warten