agent-observability-trace-rca
A Datadog skill for finding out why an LLM application is failing in production.
スキルの内容
A Datadog skill for finding out why an LLM application is failing in production. Depending on the data available, the agent starts from failing evaluation verdicts, runtime errors or structural oddities in LLM Observability traces, collects the problem spans, groups them and follows each span tree from the symptom back to its cause, then reports the failure patterns it found. Its output can be passed to the eval bootstrap skill. It works through the Datadog MCP server or the pup CLI. The folder also contains evaluation data and a judge harness the maintainers use to test the skill.
できること
- Find failing spans from eval verdicts or runtime errors
- Group failures by error type or pattern
- Trace a failure from symptom to root cause in the span tree
- Report failure patterns for evaluator generation
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
含まれるファイル
- evals/__init__.py
- evals/data/llm_obs_trace_rca_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(agent-observability-trace-rca)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日
Datadog向けのほかのMCPサーバーとスキル
- agent-observability-auto-experiment(スキル)
- agent-observability-build-eval-from-annotations(スキル)
- agent-observability-eval-bootstrap(スキル)
- agent-observability-eval-pipeline(スキル)
- agent-observability-experiment-analyzer(スキル)
- agent-observability-experiment-bootstrap(スキル)
- agent-observability-online-experiment(スキル)
- datadog-app(スキル)
- すべて表示 →