スキル公式
agent-observability-build-eval-from-annotations
MIT2026年11月9日 更新185GitHubスタースクリプトあり
LLM Observabilityのアノテーションキューにある人によるラベルを、評価器(エバリュエーター)に変換するDatadogのスキルです。
スキルの内容
LLM Observabilityのアノテーションキューにある人によるラベルを、評価器(エバリュエーター)に変換するDatadogのスキルです。エージェントはキューを読み取り、各ラベルがトレースのどの部分を指しているかを特定し、LLMジャッジの下書きを作り、スコアリングの指標をユーザーと決めたうえで、ラベル付きの行に対してジャッジを測定します。その後、決められた回数まで1回に1つずつ変更を加えてジャッジを改良し、評価用に取り分けておいた行で確認し、結果をDatadog上に評価器として作成します。この評価器はユーザーが有効にするまでオフのままです。ローカルのジャッジ実行ツールとスコアリング用スクリプトが同梱されており、Datadog MCPサーバーまたはpup CLIを使えます。
できること
- アノテーションキューからのラベル付きのやり取りの読み取り
- 人によるラベルを予測するLLMジャッジの下書き
- 合意した指標による、既存のラベルに対するジャッジのスコアリング
- 測定を伴う複数回の改良によるジャッジの改善
- 無効状態でのDatadogへの最終的な評価器の作成
概要
- 公開元
- Datadog
- ツール
- Datadog
インストール
含まれるファイル
- references/judge_runner.py
- references/rubrics.md
- references/scoring.py
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
詳細
Datadogのほかの掲載
サーバー2件 · スキル70件
- agent-observability-auto-experiment (スキル)
- agent-observability-eval-bootstrap (スキル)
- agent-observability-eval-pipeline (スキル)
- agent-observability-experiment-analyzer (スキル)
- agent-observability-experiment-bootstrap (スキル)
- agent-observability-online-experiment (スキル)
README用バッジ
このプロジェクトのメンテナーの方は、このページにリンクするバッジを追加できます。
[](https://kitbay.app/skills/datadog-labs-agent-observability-build-eval-from-annotations/)
出典
- スキルファイル(SKILL.md)github.com/datadog-labs/agent-skills2026年11月10日
- README(README.md)github.com/datadog-labs/agent-skills2026年11月13日
- ライセンスファイル(LICENSE)github.com/datadog-labs/agent-skills · 根拠となる項目:ライセンス, 公式かどうか2026年11月13日
- GitHubリポジトリgithub.com/datadog-labs/agent-skills · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のファイル(agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月13日
- リポジトリ内のフォルダ(agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · 根拠となる項目:スクリプトを含む2026年11月10日