agent-observability-eval-bootstrap
Ein Datadog-Skill, der Evaluatoren für eine LLM-Anwendung vorschlägt, indem er ihre Produktions-Traces in Datadog LLM Observability untersucht.
Was der Skill vermittelt
Ein Datadog-Skill, der Evaluatoren für eine LLM-Anwendung vorschlägt, indem er ihre Produktions-Traces in Datadog LLM Observability untersucht. Ausgehend von einer ml_app und optional dem Ergebnis einer Ursachenanalyse zieht der Agent Stichproben von Spans, ermittelt, was geprüft werden sollte, und schlägt Online-Evaluatoren mit LLM-Judge vor; nach deiner Bestätigung legt er sie in Datadog als deaktivierte Entwürfe an. Auf Wunsch schreibt er stattdessen Python-Evaluator-Code für das ddtrace SDK oder eine frameworkunabhängige JSON-Spezifikation; außerdem kann er aus den Traces ein Dataset erzeugen. Er nutzt den Datadog-MCP-Server oder die pup CLI.
Funktionen
- Stichproben von LLM-Produktions-Traces für eine ml_app ziehen
- Evaluatoren mit LLM-Judge auf Basis der Traces vorschlagen
- Evaluatoren nach Bestätigung als deaktivierte Entwürfe in Datadog anlegen
- Python-Evaluator-Code oder eine JSON-Evaluator-Spezifikation erzeugen
- Ein Dataset aus Traces erzeugen
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Badge für Ihre README
Sie pflegen dieses Projekt? Fügen Sie ein Badge hinzu, das auf diese Seite verlinkt.
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-bootstrap/)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Datei im Repository (agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte13. Nov. 2026
- Ordner im Repository (agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Alle ansehen →