agent-observability-trace-rca
A Datadog skill for finding out why an LLM application is failing in production.
O que a skill ensina
A Datadog skill for finding out why an LLM application is failing in production. Depending on the data available, the agent starts from failing evaluation verdicts, runtime errors or structural oddities in LLM Observability traces, collects the problem spans, groups them and follows each span tree from the symptom back to its cause, then reports the failure patterns it found. Its output can be passed to the eval bootstrap skill. It works through the Datadog MCP server or the pup CLI. The folder also contains evaluation data and a judge harness the maintainers use to test the skill.
O que faz
- Find failing spans from eval verdicts or runtime errors
- Group failures by error type or pattern
- Trace a failure from symptom to root cause in the span tree
- Report failure patterns for evaluator generation
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
O que tem dentro
- evals/__init__.py
- evals/data/llm_obs_trace_rca_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Pasta no repositório (agent-observability-trace-rca)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- Ver tudo →