本文へスキップ
Kitbay
スキル公式

agent-observability-eval-pipeline

MIT2026年11月9日 更新185GitHubスタースクリプトあり

ほかのAgent Observabilityスキルをつなぎ、計装済みのLLMアプリケーションに対して1回のガイド付きの実行にまとめるDatadogのスキルです。

スキルの内容

ほかのAgent Observabilityスキルをつなぎ、計装済みのLLMアプリケーションに対して1回のガイド付きの実行にまとめるDatadogのスキルです。エージェントは段階ごとにユーザーの了承を待ちながら、本番トレースの分類、失敗の根本原因の特定、評価器(エバリュエーター)の提案、データセットのサンプリングとDatadogへの公開、実験の生成と実行、結果の分析を進めます。どの段階のあとでも止められます。データセットを公開する小さなPythonのヘルパーが同梱されており、Datadog MCPサーバーまたはpup CLIを通して動作します。

できること

  • LLMアプリケーションの本番トレースの分類
  • 失敗の根本原因の特定と評価器の提案
  • 評価用データセットのサンプリングとDatadogへの公開
  • 実験の生成・実行・分析
  • 段階ごとの確認のための一時停止