本文へスキップ
Kitbay
スキル公式

agent-observability-build-eval-from-annotations

MIT2026年11月9日 更新185GitHubスタースクリプトあり

LLM Observabilityのアノテーションキューにある人によるラベルを、評価器(エバリュエーター)に変換するDatadogのスキルです。

スキルの内容

LLM Observabilityのアノテーションキューにある人によるラベルを、評価器(エバリュエーター)に変換するDatadogのスキルです。エージェントはキューを読み取り、各ラベルがトレースのどの部分を指しているかを特定し、LLMジャッジの下書きを作り、スコアリングの指標をユーザーと決めたうえで、ラベル付きの行に対してジャッジを測定します。その後、決められた回数まで1回に1つずつ変更を加えてジャッジを改良し、評価用に取り分けておいた行で確認し、結果をDatadog上に評価器として作成します。この評価器はユーザーが有効にするまでオフのままです。ローカルのジャッジ実行ツールとスコアリング用スクリプトが同梱されており、Datadog MCPサーバーまたはpup CLIを使えます。

できること

  • アノテーションキューからのラベル付きのやり取りの読み取り
  • 人によるラベルを予測するLLMジャッジの下書き
  • 合意した指標による、既存のラベルに対するジャッジのスコアリング
  • 測定を伴う複数回の改良によるジャッジの改善
  • 無効状態でのDatadogへの最終的な評価器の作成