Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-eval-bootstrap

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHub

Uma skill da Datadog que propõe avaliadores para uma aplicação de LLM inspecionando os traces de produção dela no Datadog LLM Observability.

O que a skill ensina

Uma skill da Datadog que propõe avaliadores para uma aplicação de LLM inspecionando os traces de produção dela no Datadog LLM Observability. A partir de um ml_app e, opcionalmente, do resultado de uma análise de causa raiz, o agente coleta amostras de spans, identifica o que deve ser checado e sugere avaliadores online do tipo LLM judge; depois que você confirma, cria esses avaliadores no Datadog como rascunhos desativados. Se você pedir, ele escreve, em vez disso, código de avaliador em Python para o SDK ddtrace ou uma especificação em JSON não vinculada a nenhum framework, e também pode gerar um dataset a partir dos traces. Ela usa o servidor MCP da Datadog ou a CLI pup.

O que faz

  • Coletar amostras de traces de LLM em produção de um ml_app
  • Propor avaliadores LLM judge com base no que os traces mostram
  • Criar avaliadores no Datadog como rascunhos desativados após confirmação
  • Gerar código de avaliador em Python ou uma especificação de avaliador em JSON
  • Gerar um dataset a partir de traces