Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-experiment-analyzer

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHub

Uma skill da Datadog para interpretar os resultados de experimentos offline de LLM registrados no Datadog LLM Observability.

O que a skill ensina

Uma skill da Datadog para interpretar os resultados de experimentos offline de LLM registrados no Datadog LLM Observability. A partir de um ID de experimento, ou de uma linha de base e um candidato, o agente descobre o que mudou, escolhe métricas, procura sinais relevantes, investiga registros individuais e escreve um relatório com conclusões e recomendações. Em vez de explorar, ele pode responder a uma pergunta específica sobre as execuções, e pode salvar o relatório localmente ou em um notebook do Datadog. Ela usa o servidor MCP da Datadog ou a CLI pup. A pasta também contém dados de avaliação e um harness de judge que os mantenedores usam para testar a skill.

O que faz

  • Resumir um único experimento de LLM
  • Comparar um experimento candidato com uma linha de base
  • Responder a uma pergunta específica sobre os resultados de experimentos
  • Exportar o relatório de análise para um notebook do Datadog