Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-build-eval-from-annotations

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHubInclui scripts

Uma skill da Datadog que transforma os rótulos humanos de uma fila de anotação do LLM Observability em um avaliador.

O que a skill ensina

Uma skill da Datadog que transforma os rótulos humanos de uma fila de anotação do LLM Observability em um avaliador. O agente lê a fila, descobre a qual parte de cada trace os rótulos se referem, rascunha um LLM judge, combina com você uma métrica de pontuação e mede o judge em relação às linhas rotuladas. Em seguida, revisa o judge uma mudança por vez, por um número limitado de rodadas, confere o resultado em linhas reservadas e cria o resultado no Datadog como um avaliador que fica desativado até você ativá-lo. Ela inclui um executor local de judge e um script de pontuação e pode usar o servidor MCP da Datadog ou a CLI pup.

O que faz

  • Ler interações rotuladas de uma fila de anotação
  • Rascunhar um LLM judge que prevê os rótulos humanos
  • Pontuar o judge em relação aos rótulos existentes com uma métrica combinada
  • Refinar o judge ao longo de várias rodadas medidas
  • Criar o avaliador final no Datadog, desativado