Zum Inhalt springen
Kitbay

agent-observability-auto-experiment

MITAktualisiert am 9. Nov. 2026185GitHub-Sterne

Ein Datadog-Skill, der anhand der Daten aus Datadog LLM Observability eine messbare Verbesserungsschleife am Code einer LLM-Anwendung durchläuft.

Was der Skill vermittelt

Ein Datadog-Skill, der anhand der Daten aus Datadog LLM Observability eine messbare Verbesserungsschleife am Code einer LLM-Anwendung durchläuft. Der Agent lädt einen Evaluationskorpus (aus einer ml_app, einem Dataset, einer Annotation Queue, einer Reihe von Trace-IDs oder einer lokalen Datei) in Datadog Datasets, baut ein lokales Evaluations-Harness, erfasst einen Baseline-Score und nimmt dann jeweils eine Änderung vor, die er nur behält, wenn sich das neu bewertete Ergebnis verbessert. Er arbeitet über den Datadog-MCP-Server oder die pup CLI, fragt vor dem Start nach seinen Eingaben und schätzt die Kosten eines Laufs anhand der gemessenen Baseline. Harness-Templates für Python und Node sind enthalten.

Funktionen

  • Traces, Datasets oder Annotation Queues in Datadog Datasets laden
  • Ein lokales Evaluations-Harness bauen und eine Baseline bewerten
  • Pro Iteration eine gezielte Code- oder Prompt-Änderung vornehmen und neu bewerten
  • Änderungen nur behalten, wenn sich der Score verbessert
  • Über den Datadog-MCP-Server oder die pup CLI arbeiten