agent-observability-experiment-analyzer
Ein Datadog-Skill zum Auswerten der Ergebnisse von Offline-LLM-Experimenten, die in Datadog LLM Observability erfasst sind.
Was der Skill vermittelt
Ein Datadog-Skill zum Auswerten der Ergebnisse von Offline-LLM-Experimenten, die in Datadog LLM Observability erfasst sind. Ausgehend von einer Experiment-ID oder von einer Baseline und einem Kandidaten ermittelt der Agent, was sich geändert hat, wählt Metriken aus, sucht nach auffälligen Signalen, untersucht einzelne Datensätze und schreibt einen Bericht mit Befunden und Empfehlungen. Statt frei zu erkunden, kann er auch eine konkrete Frage zu den Läufen beantworten und den Bericht lokal oder in einem Datadog-Notebook speichern. Er nutzt den Datadog-MCP-Server oder die pup CLI. Der Ordner enthält außerdem Evaluationsdaten und ein Judge-Harness, mit denen die Maintainer den Skill testen.
Funktionen
- Ein einzelnes LLM-Experiment zusammenfassen
- Ein Kandidaten-Experiment mit einer Baseline vergleichen
- Eine konkrete Frage zu Experimentergebnissen beantworten
- Den Analysebericht in ein Datadog-Notebook exportieren
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
Was enthalten ist
- evals/__init__.py
- evals/data/experiment_analyzer_v0.json
- evals/data/experiment_analyzer_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Badge für Ihre README
Sie pflegen dieses Projekt? Fügen Sie ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/datadog-labs-agent-observability-experiment-analyzer/)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (agent-observability-experiment-analyzer)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Alle ansehen →