本文へスキップ
Kitbay
スキル公式

agent-observability-online-experiment

MIT2026年11月9日 更新185GitHubスター

Agent Observabilityで計装済みのLLMアプリケーションに、実際のトラフィックを使ったA/Bテストを設定するDatadogのスキルです。読み取り専用の調査のあと、エージェントは承認を得るために完全な計画を1つ提示します。

スキルの内容

Agent Observabilityで計装済みのLLMアプリケーションに、実際のトラフィックを使ったA/Bテストを設定するDatadogのスキルです。読み取り専用の調査のあと、エージェントは承認を得るために完全な計画を1つ提示します。そのうえで、コントロール版とトリートメント版のためのDatadogのフィーチャーフラグを作成し、フラグをアプリケーションのコードに組み込み、実験を作成し、評価スコアを主要な指標として、トークンとコストの指標とあわせて設定します。さらに環境とトラフィックの配分を設定し、依頼された場合にのみ実験を開始します。LLM Observability、実験、フィーチャーフラグの各ツールセットを備えたDatadog MCPサーバーが必要で、Organizationによってはこの機能を有効にする必要があります。

できること

  • 2つのバリアント用のDatadogフィーチャーフラグの作成
  • アプリケーションへのフラグの組み込み
  • オンライン実験の作成と評価・トークン・コストの指標の設定
  • 環境とトラフィック配分の設定
  • 依頼に応じた実験の開始