agent-observability-build-eval-from-annotations
Uma skill da Datadog que transforma os rótulos humanos de uma fila de anotação do LLM Observability em um avaliador.
O que a skill ensina
Uma skill da Datadog que transforma os rótulos humanos de uma fila de anotação do LLM Observability em um avaliador. O agente lê a fila, descobre a qual parte de cada trace os rótulos se referem, rascunha um LLM judge, combina com você uma métrica de pontuação e mede o judge em relação às linhas rotuladas. Em seguida, revisa o judge uma mudança por vez, por um número limitado de rodadas, confere o resultado em linhas reservadas e cria o resultado no Datadog como um avaliador que fica desativado até você ativá-lo. Ela inclui um executor local de judge e um script de pontuação e pode usar o servidor MCP da Datadog ou a CLI pup.
O que faz
- Ler interações rotuladas de uma fila de anotação
- Rascunhar um LLM judge que prevê os rótulos humanos
- Pontuar o judge em relação aos rótulos existentes com uma métrica combinada
- Refinar o judge ao longo de várias rodadas medidas
- Criar o avaliador final no Datadog, desativado
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
O que tem dentro
- references/judge_runner.py
- references/rubrics.md
- references/scoring.py
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Esta skill inclui scripts que o seu agente pode executar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Sim | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-auto-experiment (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-analyzer (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/datadog-labs-agent-observability-build-eval-from-annotations/)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Arquivo no repositório (agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts13 de nov. de 2026
- Pasta no repositório (agent-observability-build-eval-from-annotations)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-analyzer(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Ver tudo →