Pular para o conteúdo
Kitbay
SkillOficial

agent-observability-online-experiment

MITAtualizado em 9 de nov. de 2026185Estrelas no GitHub

Uma skill da Datadog que configura um teste A/B com tráfego real para uma aplicação de LLM instrumentada com o Agent Observability.

O que a skill ensina

Uma skill da Datadog que configura um teste A/B com tráfego real para uma aplicação de LLM instrumentada com o Agent Observability. Depois de uma fase de descoberta somente leitura, o agente apresenta um plano completo para aprovação e então cria uma feature flag no Datadog para as versões de controle e de tratamento, integra a flag ao código da aplicação, cria o experimento, define uma pontuação de avaliação como métrica principal, com métricas de tokens e de custo ao lado, configura ambientes e a divisão de tráfego, e só inicia o experimento se você tiver pedido. Ela precisa do servidor MCP da Datadog com os toolsets de LLM Observability, experimentos e feature flags, e o recurso pode precisar ser habilitado para a sua organização.

O que faz

  • Criar uma feature flag no Datadog para duas variantes
  • Integrar a flag à aplicação
  • Criar um experimento online e associar métricas de avaliação, tokens e custo
  • Configurar ambientes e a alocação de tráfego
  • Iniciar o experimento quando solicitado