agent-observability-eval-bootstrap
Uma skill da Datadog que propõe avaliadores para uma aplicação de LLM inspecionando os traces de produção dela no Datadog LLM Observability.
O que a skill ensina
Uma skill da Datadog que propõe avaliadores para uma aplicação de LLM inspecionando os traces de produção dela no Datadog LLM Observability. A partir de um ml_app e, opcionalmente, do resultado de uma análise de causa raiz, o agente coleta amostras de spans, identifica o que deve ser checado e sugere avaliadores online do tipo LLM judge; depois que você confirma, cria esses avaliadores no Datadog como rascunhos desativados. Se você pedir, ele escreve, em vez disso, código de avaliador em Python para o SDK ddtrace ou uma especificação em JSON não vinculada a nenhum framework, e também pode gerar um dataset a partir dos traces. Ela usa o servidor MCP da Datadog ou a CLI pup.
O que faz
- Coletar amostras de traces de LLM em produção de um ml_app
- Propor avaliadores LLM judge com base no que os traces mostram
- Criar avaliadores no Datadog como rascunhos desativados após confirmação
- Gerar código de avaliador em Python ou uma especificação de avaliador em JSON
- Gerar um dataset a partir de traces
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/datadog-labs-agent-observability-eval-bootstrap/)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Arquivo no repositório (agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts13 de nov. de 2026
- Pasta no repositório (agent-observability-eval-bootstrap)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Ver tudo →