creating-mcp-agent-evals
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs.
Was der Skill vermittelt
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs. It sets out a process: list every tool and argument group, check real platform behaviour with small scripts before writing cases, write easy, medium and hard cases in rounds, calibrate on a strong model and then test weaker ones, and fix tool outputs before descriptions. A diagnosis table helps decide whether a failing case, the judge, the product, the tool text or the model is at fault. A reference file holds commands and patterns.
Funktionen
- Plan eval cases for an Apify MCP tool family
- Calibrate evals across stronger and weaker models
- Diagnose why an eval case fails
- Improve tool outputs based on eval results
Überblick
- Herausgeber
- Apify
- Tool
- Apify
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- reference.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Apify | |
| Herausgeber | Apify | Quelle |
| Offizieller Status | Offiziellin Apify's own GitHub organisation, inside the official Apify MCP server repository | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 10. Nov. 202615.564 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Quellen
- Skill-Datei (SKILL.md)github.com/apify/apify-mcp-server10. Nov. 2026
- Lizenzdatei (LICENSE)github.com/apify/apify-mcp-server · Belegt: Lizenz, Herausgeber13. Nov. 2026
- GitHub-Repositorygithub.com/apify/apify-mcp-server · Belegt: Offizieller Status, Aktivität, Lizenz10. Nov. 2026
- Ordner im Repository (creating-mcp-agent-evals)github.com/apify/apify-mcp-server · Belegt: Enthält Skripte10. Nov. 2026