本文へスキップ
Kitbay
スキル公式

agent-observability-experiment-analyzer

MIT2026年11月9日 更新185GitHubスター

Datadog LLM Observabilityに記録されたオフラインのLLM実験の結果を読み解くためのDatadogのスキルです。

スキルの内容

Datadog LLM Observabilityに記録されたオフラインのLLM実験の結果を読み解くためのDatadogのスキルです。実験IDを1つ、またはベースラインと比較対象(候補)を渡すと、エージェントは何が変わったかを把握し、指標を選び、注目すべきシグナルを探し、個々のレコードを調べ、結果と推奨事項をまとめたレポートを書きます。全体を探索する代わりに、実行結果についての特定の質問に答えることもでき、レポートはローカルまたはDatadogのノートブックに保存できます。Datadog MCPサーバーまたはpup CLIを使います。フォルダには、メンテナーがこのスキルのテストに使う評価データとジャッジ用の実行環境も入っています。

できること

  • 単一のLLM実験の要約
  • 候補の実験とベースラインの比較
  • 実験結果に関する特定の質問への回答
  • 分析レポートのDatadogノートブックへのエクスポート