スキル公式
agent-observability-online-experiment
MIT2026年11月9日 更新185GitHubスター
Agent Observabilityで計装済みのLLMアプリケーションに、実際のトラフィックを使ったA/Bテストを設定するDatadogのスキルです。読み取り専用の調査のあと、エージェントは承認を得るために完全な計画を1つ提示します。
スキルの内容
Agent Observabilityで計装済みのLLMアプリケーションに、実際のトラフィックを使ったA/Bテストを設定するDatadogのスキルです。読み取り専用の調査のあと、エージェントは承認を得るために完全な計画を1つ提示します。そのうえで、コントロール版とトリートメント版のためのDatadogのフィーチャーフラグを作成し、フラグをアプリケーションのコードに組み込み、実験を作成し、評価スコアを主要な指標として、トークンとコストの指標とあわせて設定します。さらに環境とトラフィックの配分を設定し、依頼された場合にのみ実験を開始します。LLM Observability、実験、フィーチャーフラグの各ツールセットを備えたDatadog MCPサーバーが必要で、Organizationによってはこの機能を有効にする必要があります。
できること
- 2つのバリアント用のDatadogフィーチャーフラグの作成
- アプリケーションへのフラグの組み込み
- オンライン実験の作成と評価・トークン・コストの指標の設定
- 環境とトラフィック配分の設定
- 依頼に応じた実験の開始
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-online-experiment/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のファイル(agent-observability-online-experiment)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月13日
- リポジトリ内のフォルダ(agent-observability-online-experiment)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日