agent-observability-eval-pipeline
Uma skill da Datadog que encadeia as outras skills de Agent Observability em uma única execução guiada para uma aplicação de LLM instrumentada.
O que a skill ensina
Uma skill da Datadog que encadeia as outras skills de Agent Observability em uma única execução guiada para uma aplicação de LLM instrumentada. Em etapas, com uma pausa para o seu sinal verde entre cada uma, o agente classifica traces de produção, encontra as causas raiz das falhas, propõe avaliadores, coleta amostras e publica um dataset no Datadog, gera e executa um experimento e analisa os resultados. Você pode parar depois de qualquer etapa. Ela traz um pequeno helper em Python que publica o dataset. A skill funciona pelo servidor MCP da Datadog ou pela CLI pup.
O que faz
- Classificar os traces de produção de uma aplicação de LLM
- Encontrar a causa raiz de falhas e propor avaliadores
- Amostrar e publicar um dataset de avaliação no Datadog
- Gerar, executar e analisar um experimento
- Pausar para confirmação entre as etapas
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
O que tem dentro
- scripts/.gitignore
- scripts/load_env.py
- scripts/publish_dataset.py
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Esta skill inclui scripts que o seu agente pode executar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Sim | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-pipeline/)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Arquivo no repositório (agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts13 de nov. de 2026
- Pasta no repositório (agent-observability-eval-pipeline)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Ver tudo →