スキル公式
agent-observability-experiment-analyzer
MIT2026年11月9日 更新185GitHubスター
Datadog LLM Observabilityに記録されたオフラインのLLM実験の結果を読み解くためのDatadogのスキルです。
スキルの内容
Datadog LLM Observabilityに記録されたオフラインのLLM実験の結果を読み解くためのDatadogのスキルです。実験IDを1つ、またはベースラインと比較対象(候補)を渡すと、エージェントは何が変わったかを把握し、指標を選び、注目すべきシグナルを探し、個々のレコードを調べ、結果と推奨事項をまとめたレポートを書きます。全体を探索する代わりに、実行結果についての特定の質問に答えることもでき、レポートはローカルまたはDatadogのノートブックに保存できます。Datadog MCPサーバーまたはpup CLIを使います。フォルダには、メンテナーがこのスキルのテストに使う評価データとジャッジ用の実行環境も入っています。
できること
- 単一のLLM実験の要約
- 候補の実験とベースラインの比較
- 実験結果に関する特定の質問への回答
- 分析レポートのDatadogノートブックへのエクスポート
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
含まれるファイル
- evals/__init__.py
- evals/data/experiment_analyzer_v0.json
- evals/data/experiment_analyzer_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-bootstrap (スキル)
- agent-observability-online-experiment (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-experiment-analyzer/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(agent-observability-experiment-analyzer)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日