Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-eval-pipeline

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHubInclui scripts

Uma skill da Datadog que encadeia as outras skills de Agent Observability em uma única execução guiada para uma aplicação de LLM instrumentada.

O que a skill ensina

Uma skill da Datadog que encadeia as outras skills de Agent Observability em uma única execução guiada para uma aplicação de LLM instrumentada. Em etapas, com uma pausa para o seu sinal verde entre cada uma, o agente classifica traces de produção, encontra as causas raiz das falhas, propõe avaliadores, coleta amostras e publica um dataset no Datadog, gera e executa um experimento e analisa os resultados. Você pode parar depois de qualquer etapa. Ela traz um pequeno helper em Python que publica o dataset. A skill funciona pelo servidor MCP da Datadog ou pela CLI pup.

O que faz

  • Classificar os traces de produção de uma aplicação de LLM
  • Encontrar a causa raiz de falhas e propor avaliadores
  • Amostrar e publicar um dataset de avaliação no Datadog
  • Gerar, executar e analisar um experimento
  • Pausar para confirmação entre as etapas