本文へスキップ
Kitbay
スキル公式

agent-observability-auto-experiment

MIT2026年11月9日 更新185GitHubスター

DatadogのLLM Observabilityのデータを使い、LLMアプリケーションのコードに対して、効果を測定しながら改善を繰り返すDatadogのスキルです。

スキルの内容

DatadogのLLM Observabilityのデータを使い、LLMアプリケーションのコードに対して、効果を測定しながら改善を繰り返すDatadogのスキルです。エージェントは評価用のコーパス(ml_app、データセット、アノテーションキュー、トレースIDの集合、ローカルファイルのいずれか)をDatadog Datasetsに読み込み、ローカルのスコアリング環境を構築し、ベースラインのスコアを記録します。そのうえで変更を1つずつ加え、再スコアリングの結果が改善した場合にのみ残します。Datadog MCPサーバーまたはpup CLIを通して動作し、開始前に必要な入力を尋ね、測定したベースラインから実行コストを見積もります。PythonとNode用の評価環境のテンプレートが含まれています。

できること

  • トレース、データセット、アノテーションキューのDatadog Datasetsへの読み込み
  • ローカルの評価環境の構築とベースラインのスコアリング
  • 1回につき1つに絞ったコードまたはプロンプトの変更と再スコアリング
  • スコアが改善した場合にのみ行う変更の採用
  • Datadog MCPサーバーまたはpup CLIを通した操作