Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-auto-experiment

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHub

Uma skill da Datadog que executa um ciclo de melhoria medido no código de uma aplicação de LLM, usando os dados do Datadog LLM Observability dessa aplicação.

O que a skill ensina

Uma skill da Datadog que executa um ciclo de melhoria medido no código de uma aplicação de LLM, usando os dados do Datadog LLM Observability dessa aplicação. O agente carrega um corpus de avaliação (de um ml_app, um dataset, uma fila de anotação, um conjunto de trace IDs ou um arquivo local) no Datadog Datasets, monta um harness de pontuação local, registra uma pontuação de linha de base e então faz uma mudança por vez, mantendo-a apenas quando o resultado da nova pontuação melhora. Ela funciona pelo servidor MCP da Datadog ou pela CLI pup, pede as entradas antes de começar e estima o custo da execução a partir da linha de base medida. Inclui templates de harness em Python e Node.

O que faz

  • Carregar traces, datasets ou filas de anotação no Datadog Datasets
  • Montar um harness de avaliação local e medir a pontuação de linha de base
  • Fazer uma mudança focada de código ou de prompt por iteração e pontuá-la de novo
  • Manter as mudanças só quando a pontuação melhora
  • Funcionar pelo servidor MCP da Datadog ou pela CLI pup