Zum Inhalt springen
Kitbay

agent-observability-experiment-analyzer

MITAktualisiert am 9. Nov. 2026185GitHub-Sterne

Ein Datadog-Skill zum Auswerten der Ergebnisse von Offline-LLM-Experimenten, die in Datadog LLM Observability erfasst sind.

Was der Skill vermittelt

Ein Datadog-Skill zum Auswerten der Ergebnisse von Offline-LLM-Experimenten, die in Datadog LLM Observability erfasst sind. Ausgehend von einer Experiment-ID oder von einer Baseline und einem Kandidaten ermittelt der Agent, was sich geändert hat, wählt Metriken aus, sucht nach auffälligen Signalen, untersucht einzelne Datensätze und schreibt einen Bericht mit Befunden und Empfehlungen. Statt frei zu erkunden, kann er auch eine konkrete Frage zu den Läufen beantworten und den Bericht lokal oder in einem Datadog-Notebook speichern. Er nutzt den Datadog-MCP-Server oder die pup CLI. Der Ordner enthält außerdem Evaluationsdaten und ein Judge-Harness, mit denen die Maintainer den Skill testen.

Funktionen

  • Ein einzelnes LLM-Experiment zusammenfassen
  • Ein Kandidaten-Experiment mit einer Baseline vergleichen
  • Eine konkrete Frage zu Experimentergebnissen beantworten
  • Den Analysebericht in ein Datadog-Notebook exportieren