agent-observability-experiment-analyzer
Uma skill da Datadog para interpretar os resultados de experimentos offline de LLM registrados no Datadog LLM Observability.
O que a skill ensina
Uma skill da Datadog para interpretar os resultados de experimentos offline de LLM registrados no Datadog LLM Observability. A partir de um ID de experimento, ou de uma linha de base e um candidato, o agente descobre o que mudou, escolhe métricas, procura sinais relevantes, investiga registros individuais e escreve um relatório com conclusões e recomendações. Em vez de explorar, ele pode responder a uma pergunta específica sobre as execuções, e pode salvar o relatório localmente ou em um notebook do Datadog. Ela usa o servidor MCP da Datadog ou a CLI pup. A pasta também contém dados de avaliação e um harness de judge que os mantenedores usam para testar a skill.
O que faz
- Resumir um único experimento de LLM
- Comparar um experimento candidato com uma linha de base
- Responder a uma pergunta específica sobre os resultados de experimentos
- Exportar o relatório de análise para um notebook do Datadog
Sobre
- Publicador
- Datadog
- Ferramenta
- Datadog
Instalação
O que tem dentro
- evals/__init__.py
- evals/data/experiment_analyzer_v0.json
- evals/data/experiment_analyzer_v1.json
- evals/evaluator.py
- evals/example_config.json
- evals/executor.py
- evals/prompts/judge_rubric.txt
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Datadog | |
| Publicador | Datadog | fonte |
| Status oficial | Oficialdatadog-labs org; MIT licence copyright Datadog | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 9 de nov. de 2026185 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Mais de Datadog
2 servidores · 70 skills
- agent-observability-auto-experiment (Skill)
- agent-observability-build-eval-from-annotations (Skill)
- agent-observability-eval-bootstrap (Skill)
- agent-observability-eval-pipeline (Skill)
- agent-observability-experiment-bootstrap (Skill)
- agent-observability-online-experiment (Skill)
Selo para o seu README
Você mantém este projeto? Adicione um selo com link para esta página.
[](https://kitbay.app/skills/datadog-labs-agent-observability-experiment-analyzer/)
Fontes
- Arquivo da skill (SKILL.md)github.com/datadog-labs/agent-skills10 de nov. de 2026
- README (README.md)github.com/datadog-labs/agent-skills13 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/datadog-labs/agent-skills · Comprova: Licença, Status oficial13 de nov. de 2026
- Repositório no GitHubgithub.com/datadog-labs/agent-skills · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Pasta no repositório (agent-observability-experiment-analyzer)github.com/datadog-labs/agent-skills · Comprova: Inclui scripts10 de nov. de 2026
Outros servidores MCP e skills para Datadog
- agent-observability-auto-experiment(Skill)
- agent-observability-build-eval-from-annotations(Skill)
- agent-observability-eval-bootstrap(Skill)
- agent-observability-eval-pipeline(Skill)
- agent-observability-experiment-bootstrap(Skill)
- agent-observability-online-experiment(Skill)
- datadog-app(Skill)
- dd-pup(Skill)
- Ver tudo →