スキル公式
agent-observability-eval-bootstrap
MIT2026年11月9日 更新185GitHubスター
Datadog LLM ObservabilityでLLMアプリケーションの本番トレースを調べ、評価器(エバリュエーター)を提案するDatadogのスキルです。
スキルの内容
Datadog LLM ObservabilityでLLMアプリケーションの本番トレースを調べ、評価器(エバリュエーター)を提案するDatadogのスキルです。ml_appと、必要に応じて根本原因分析の出力を渡すと、エージェントはスパンをサンプリングし、何を確認すべきかを特定して、オンラインのLLMジャッジ評価器を提案します。ユーザーが確認すると、それらを無効状態の下書きとしてDatadog上に作成します。依頼があれば、代わりにddtrace SDK用のPythonの評価器コードや、フレームワークに依存しないJSONの仕様を書き出すこともでき、トレースからデータセットを作ることもできます。Datadog MCPサーバーまたはpup CLIを使います。
できること
- ml_appの本番LLMトレースのサンプリング
- トレースの内容に基づくLLMジャッジ評価器の提案
- 確認後に行う、無効状態の下書きとしてのDatadogへの評価器の作成
- Pythonの評価器コードまたはJSONの評価器仕様の生成
- トレースからのデータセットの出力
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
- agent-observability-online-experiment (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-bootstrap/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のファイル(agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月13日
- リポジトリ内のフォルダ(agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日