creating-mcp-agent-evals
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs.
スキルの内容
A maintainer skill in Apify's MCP server repository for building Langfuse evaluation suites that test how well agents use one family of the server's tools, such as storage or runs. It sets out a process: list every tool and argument group, check real platform behaviour with small scripts before writing cases, write easy, medium and hard cases in rounds, calibrate on a strong model and then test weaker ones, and fix tool outputs before descriptions. A diagnosis table helps decide whether a failing case, the judge, the product, the tool text or the model is at fault. A reference file holds commands and patterns.
できること
- Plan eval cases for an Apify MCP tool family
- Calibrate evals across stronger and weaker models
- Diagnose why an eval case fails
- Improve tool outputs based on eval results
概要
- 公開元
- Apify
- ツール
- Apify
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- reference.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
| 項目 | 内容 | 出典 |
|---|---|---|
| 種類 | スキル | |
| ツール | Apify | |
| 公開元 | Apify | 出典 |
| 公式かどうか | 公式in Apify's own GitHub organisation, inside the official Apify MCP server repository | 出典 |
| APIキーまたはサインインが必要 | ドキュメントに記載なし | |
| スクリプトを含む | いいえ | 出典 |
| プラットフォーム | ドキュメントに記載なし | |
| AIクライアント | ドキュメントに記載なし | |
| ライセンス | MIT | 出典 |
| 料金 | ドキュメントに記載なし | |
| 活動状況 | 最終コミット 2026年11月10日GitHubスター 15,564ダウンロード数のデータなし(npm・PyPIで未公開) | 出典 |
| リンク | リポジトリ Webサイト |
出典
- スキルファイル(SKILL.md)github.com/apify/apify-mcp-server2026年11月10日
- ライセンスファイル(LICENSE)github.com/apify/apify-mcp-server · 根拠となる項目:ライセンス, 公開元2026年11月13日
- GitHubリポジトリgithub.com/apify/apify-mcp-server · 根拠となる項目:公式かどうか, 活動状況, ライセンス2026年11月10日
- リポジトリ内のフォルダ(creating-mcp-agent-evals)github.com/apify/apify-mcp-server · 根拠となる項目:スクリプトを含む2026年11月10日