Zum Inhalt springen
Kitbay

agent-observability-online-experiment

MITAktualisiert am 9. Nov. 2026185GitHub-Sterne

Ein Datadog-Skill, der einen A/B-Test mit Live-Traffic für eine mit Agent Observability instrumentierte LLM-Anwendung einrichtet.

Was der Skill vermittelt

Ein Datadog-Skill, der einen A/B-Test mit Live-Traffic für eine mit Agent Observability instrumentierte LLM-Anwendung einrichtet. Nach einer rein lesenden Bestandsaufnahme legt der Agent einen vollständigen Plan zur Freigabe vor. Dann erstellt er ein Datadog-Feature-Flag für die Kontroll- und die Testversion, bindet das Flag in den Anwendungscode ein, legt das Experiment an, hängt einen Evaluations-Score als Hauptmetrik an, ergänzt um Token- und Kostenmetriken, legt Umgebungen und die Traffic-Aufteilung fest und startet das Experiment nur, wenn du darum gebeten hast. Er braucht den Datadog-MCP-Server mit seinen Toolsets für LLM Observability, Experimente und Feature Flags; die Funktion muss für deine Organisation unter Umständen erst aktiviert werden.

Funktionen

  • Ein Datadog-Feature-Flag für zwei Varianten erstellen
  • Das Flag in die Anwendung einbinden
  • Ein Online-Experiment anlegen und Evaluations-, Token- und Kostenmetriken anhängen
  • Umgebungen und Traffic-Aufteilung festlegen
  • Das Experiment auf Wunsch starten