creating-mcp-agent-evals
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs.
O que a skill ensina
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs. It sets out a process: list every tool and argument group, check real platform behaviour with small scripts before writing cases, write easy, medium and hard cases in rounds, calibrate on a strong model and then test weaker ones, and fix tool outputs before descriptions. A diagnosis table helps decide whether a failing case, the judge, the product, the tool text or the model is at fault. A reference file holds commands and patterns.
O que faz
- Plan eval cases for an Apify MCP tool family
- Calibrate evals across stronger and weaker models
- Diagnose why an eval case fails
- Improve tool outputs based on eval results
Sobre
- Publicador
- Apify
- Ferramenta
- Apify
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- reference.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Apify | |
| Publicador | Apify | fonte |
| Status oficial | Oficialin Apify's own GitHub organisation, inside the official Apify MCP server repository | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Sem dados de commitsDados de download indisponíveis (não está no npm nem no PyPI) | |
| Links | Repositório Site |
Fontes
- Arquivo da skill (SKILL.md)github.com/apify/apify-mcp-server · Comprova: Licença18 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/apify/apify-mcp-server · Comprova: Licença, Publicador13 de nov. de 2026
- Repositório no GitHubgithub.com/apify/apify-mcp-server · Comprova: Status oficial13 de nov. de 2026
- Pasta no repositório (creating-mcp-agent-evals)github.com/apify/apify-mcp-server · Comprova: Inclui scripts18 de nov. de 2026