Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-experiment-bootstrap

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHub

Uma skill da Datadog que escreve um arquivo de experimento do LLM Observability pronto para rodar no seu projeto.

O que a skill ensina

Uma skill da Datadog que escreve um arquivo de experimento do LLM Observability pronto para rodar no seu projeto. O agente define o objetivo do experimento, o dataset (registros inline, um arquivo local ou um dataset nomeado do Datadog), a tarefa em teste e os avaliadores, e então gera um script ou notebook usando o SDK ddtrace para Python, que é o padrão, ou o SDK dd-trace para Node, e o confere localmente antes de apresentar o resultado. As orientações e templates específicos de cada linguagem ficam na pasta de referências e só são carregados para o SDK escolhido. Ela precisa de credenciais do Datadog para registrar os resultados.

O que faz

  • Gerar um script ou notebook de experimento de LLM
  • Usar o SDK ddtrace para Python ou dd-trace para Node
  • Conectar datasets inline, locais ou hospedados no Datadog
  • Adicionar avaliadores baseados em código ou do tipo LLM judge