agent-observability-auto-experiment
Ein Datadog-Skill, der anhand der Daten aus Datadog LLM Observability eine messbare Verbesserungsschleife am Code einer LLM-Anwendung durchläuft.
Was der Skill vermittelt
Ein Datadog-Skill, der anhand der Daten aus Datadog LLM Observability eine messbare Verbesserungsschleife am Code einer LLM-Anwendung durchläuft. Der Agent lädt einen Evaluationskorpus (aus einer ml_app, einem Dataset, einer Annotation Queue, einer Reihe von Trace-IDs oder einer lokalen Datei) in Datadog Datasets, baut ein lokales Evaluations-Harness, erfasst einen Baseline-Score und nimmt dann jeweils eine Änderung vor, die er nur behält, wenn sich das neu bewertete Ergebnis verbessert. Er arbeitet über den Datadog-MCP-Server oder die pup CLI, fragt vor dem Start nach seinen Eingaben und schätzt die Kosten eines Laufs anhand der gemessenen Baseline. Harness-Templates für Python und Node sind enthalten.
Funktionen
- Traces, Datasets oder Annotation Queues in Datadog Datasets laden
- Ein lokales Evaluations-Harness bauen und eine Baseline bewerten
- Pro Iteration eine gezielte Code- oder Prompt-Änderung vornehmen und neu bewerten
- Änderungen nur behalten, wenn sich der Score verbessert
- Über den Datadog-MCP-Server oder die pup CLI arbeiten
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
Was enthalten ist
- references/eval_harness_template.mjs
- references/eval_harness_template.py
- references/rubrics.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Badge für Ihre README
Sie pflegen dieses Projekt? Fügen Sie ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/datadog-labs-agent-observability-auto-experiment/)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (agent-observability-auto-experiment)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Alle ansehen →