agent-observability-auto-experiment
Uma skill da Datadog que executa um ciclo de melhoria medido no código de uma aplicação de LLM, usando os dados do Datadog LLM Observability dessa aplicação.
O que a skill ensina
Uma skill da Datadog que executa um ciclo de melhoria medido no código de uma aplicação de LLM, usando os dados do Datadog LLM Observability dessa aplicação. O agente carrega um corpus de avaliação (de um ml_app, um dataset, uma fila de anotação, um conjunto de trace IDs ou um arquivo local) no Datadog Datasets, monta um harness de pontuação local, registra uma pontuação de linha de base e então faz uma mudança por vez, mantendo-a apenas quando o resultado da nova pontuação melhora. Ela funciona pelo servidor MCP da Datadog ou pela CLI pup, pede as entradas antes de começar e estima o custo da execução a partir da linha de base medida. Inclui templates de harness em Python e Node.
O que faz
- Carregar traces, datasets ou filas de anotação no Datadog Datasets
- Montar um harness de avaliação local e medir a pontuação de linha de base
- Fazer uma mudança focada de código ou de prompt por iteração e pontuá-la de novo
- Manter as mudanças só quando a pontuação melhora
- Funcionar pelo servidor MCP da Datadog ou pela CLI pup
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
O que tem dentro
- references/eval_harness_template.mjs
- references/eval_harness_template.py
- references/rubrics.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/datadog-labs-agent-observability-auto-experiment/)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Pasta no repositório (agent-observability-auto-experiment)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Ver tudo →