agent-observability-eval-pipeline
Ein Datadog-Skill, der die anderen Agent-Observability-Skills für eine instrumentierte LLM-Anwendung zu einem geführten Durchlauf verkettet.
Was der Skill vermittelt
Ein Datadog-Skill, der die anderen Agent-Observability-Skills für eine instrumentierte LLM-Anwendung zu einem geführten Durchlauf verkettet. In Stufen, zwischen denen er jeweils auf dein Okay wartet, klassifiziert der Agent Produktions-Traces, findet die Ursachen von Fehlern, schlägt Evaluatoren vor, zieht Stichproben für ein Dataset und veröffentlicht es in Datadog, erzeugt und startet ein Experiment und analysiert die Ergebnisse. Du kannst nach jeder Stufe aufhören. Er bringt einen kleinen Python-Helfer mit, der das Dataset veröffentlicht, und arbeitet über den Datadog-MCP-Server oder die pup CLI.
Funktionen
- Produktions-Traces einer LLM-Anwendung klassifizieren
- Fehlerursachen ermitteln und Evaluatoren vorschlagen
- Ein Evaluations-Dataset zusammenstellen und in Datadog veröffentlichen
- Ein Experiment erzeugen, ausführen und analysieren
- Zwischen den Stufen auf Bestätigung warten
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
Was enthalten ist
- scripts/.gitignore
- scripts/load_env.py
- scripts/publish_dataset.py
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Badge für deine README
Du pflegst dieses Projekt? Füge ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-pipeline/)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Datei im Repository (agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte13. Nov. 2026
- Ordner im Repository (agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Alle ansehen →