スキル公式
agent-observability-auto-experiment
MIT2026年11月9日 更新185GitHubスター
DatadogのLLM Observabilityのデータを使い、LLMアプリケーションのコードに対して、効果を測定しながら改善を繰り返すDatadogのスキルです。
スキルの内容
DatadogのLLM Observabilityのデータを使い、LLMアプリケーションのコードに対して、効果を測定しながら改善を繰り返すDatadogのスキルです。エージェントは評価用のコーパス(ml_app、データセット、アノテーションキュー、トレースIDの集合、ローカルファイルのいずれか)をDatadog Datasetsに読み込み、ローカルのスコアリング環境を構築し、ベースラインのスコアを記録します。そのうえで変更を1つずつ加え、再スコアリングの結果が改善した場合にのみ残します。Datadog MCPサーバーまたはpup CLIを通して動作し、開始前に必要な入力を尋ね、測定したベースラインから実行コストを見積もります。PythonとNode用の評価環境のテンプレートが含まれています。
できること
- トレース、データセット、アノテーションキューのDatadog Datasetsへの読み込み
- ローカルの評価環境の構築とベースラインのスコアリング
- 1回につき1つに絞ったコードまたはプロンプトの変更と再スコアリング
- スコアが改善した場合にのみ行う変更の採用
- Datadog MCPサーバーまたはpup CLIを通した操作
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
含まれるファイル
- references/eval_harness_template.mjs
- references/eval_harness_template.py
- references/rubrics.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-build-eval-from-annotations (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
- agent-observability-online-experiment (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-auto-experiment/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(agent-observability-auto-experiment)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日