スキル公式
agent-observability-eval-pipeline
MIT2026年11月9日 更新185GitHubスタースクリプトあり
ほかのAgent Observabilityスキルをつなぎ、計装済みのLLMアプリケーションに対して1回のガイド付きの実行にまとめるDatadogのスキルです。
スキルの内容
ほかのAgent Observabilityスキルをつなぎ、計装済みのLLMアプリケーションに対して1回のガイド付きの実行にまとめるDatadogのスキルです。エージェントは段階ごとにユーザーの了承を待ちながら、本番トレースの分類、失敗の根本原因の特定、評価器(エバリュエーター)の提案、データセットのサンプリングとDatadogへの公開、実験の生成と実行、結果の分析を進めます。どの段階のあとでも止められます。データセットを公開する小さなPythonのヘルパーが同梱されており、Datadog MCPサーバーまたはpup CLIを通して動作します。
できること
- LLMアプリケーションの本番トレースの分類
- 失敗の根本原因の特定と評価器の提案
- 評価用データセットのサンプリングとDatadogへの公開
- 実験の生成・実行・分析
- 段階ごとの確認のための一時停止
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
含まれるファイル
- scripts/.gitignore
- scripts/load_env.py
- scripts/publish_dataset.py
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
- agent-observability-online-experiment (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-pipeline/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のファイル(agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月13日
- リポジトリ内のフォルダ(agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日