本文へスキップ
Kitbay
スキル公式

agent-observability-eval-bootstrap

MIT2026年11月9日 更新185GitHubスター

Datadog LLM ObservabilityでLLMアプリケーションの本番トレースを調べ、評価器(エバリュエーター)を提案するDatadogのスキルです。

スキルの内容

Datadog LLM ObservabilityでLLMアプリケーションの本番トレースを調べ、評価器(エバリュエーター)を提案するDatadogのスキルです。ml_appと、必要に応じて根本原因分析の出力を渡すと、エージェントはスパンをサンプリングし、何を確認すべきかを特定して、オンラインのLLMジャッジ評価器を提案します。ユーザーが確認すると、それらを無効状態の下書きとしてDatadog上に作成します。依頼があれば、代わりにddtrace SDK用のPythonの評価器コードや、フレームワークに依存しないJSONの仕様を書き出すこともでき、トレースからデータセットを作ることもできます。Datadog MCPサーバーまたはpup CLIを使います。

できること

  • ml_appの本番LLMトレースのサンプリング
  • トレースの内容に基づくLLMジャッジ評価器の提案
  • 確認後に行う、無効状態の下書きとしてのDatadogへの評価器の作成
  • Pythonの評価器コードまたはJSONの評価器仕様の生成
  • トレースからのデータセットの出力