agent-observability-trace-rca
A Datadog skill for finding out why an LLM application is failing in production.
Was der Skill vermittelt
A Datadog skill for finding out why an LLM application is failing in production. Depending on the data available, the agent starts from failing evaluation verdicts, runtime errors or structural oddities in LLM Observability traces, collects the problem spans, groups them and follows each span tree from the symptom back to its cause, then reports the failure patterns it found. Its output can be passed to the eval bootstrap skill. It works through the Datadog MCP server or the pup CLI. The folder also contains evaluation data and a judge harness the maintainers use to test the skill.
Funktionen
- Find failing spans from eval verdicts or runtime errors
- Group failures by error type or pattern
- Trace a failure from symptom to root cause in the span tree
- Report failure patterns for evaluator generation
Überblick
- Herausgeber
- Datadog
- Tool
- Datadog
Installation
Was enthalten ist
- evals/__init__.py
- evals/data/llm_obs_trace_rca_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Datadog | |
| Herausgeber | Datadog | Quelle |
| Offizieller Status | Offizielldatadog-labs org; MIT licence copyright Datadog | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 9. Nov. 2026185 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Mehr von Datadog
2 Server · 70 Skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
Quellen
- Skill-Datei (SKILL.md)github.com/datadog-labs/agent-skills10. Nov. 2026
- README (README.md)github.com/datadog-labs/agent-skills13. Nov. 2026
- Lizenzdatei (LICENSE)github.com/datadog-labs/agent-skills · Belegt: Lizenz, Offizieller Status13. Nov. 2026
- GitHub-Repositorygithub.com/datadog-labs/agent-skills · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (agent-observability-trace-rca)github.com/datadog-labs/agent-skills · Belegt: Enthält Skripte10. Nov. 2026
Weitere MCP-Server und Skills für Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- Alle ansehen →