Zum Inhalt springen
Kitbay

agent-observability-experiment-bootstrap

MITAktualisiert am 9. Nov. 2026185GitHub-Sterne

Ein Datadog-Skill, der eine sofort lauffähige Experimentdatei für LLM Observability für dein Projekt schreibt.

Was der Skill vermittelt

Ein Datadog-Skill, der eine sofort lauffähige Experimentdatei für LLM Observability für dein Projekt schreibt. Der Agent klärt den Zweck des Experiments, das Dataset (Inline-Datensätze, eine lokale Datei oder ein benanntes Datadog-Dataset), die zu testende Aufgabe und die Evaluatoren. Dann erzeugt er ein Skript oder Notebook, entweder mit dem Python-SDK ddtrace (Standard) oder dem Node-SDK dd-trace, und prüft es lokal, bevor er das Ergebnis meldet. Sprachspezifische Hinweise und Templates liegen im Referenzordner und werden nur für das gewählte SDK geladen. Um Ergebnisse zu erfassen, braucht er Datadog-Zugangsdaten.

Funktionen

  • Ein Skript oder Notebook für ein LLM-Experiment erzeugen
  • Das Python-SDK ddtrace oder das Node-SDK dd-trace nutzen
  • Inline-, lokale oder in Datadog gehostete Datasets einbinden
  • Codebasierte Evaluatoren oder LLM-Judges hinzufügen