inference-optimisation
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation.
スキルの内容
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation. The agent works out theoretical ceilings from measured memory bandwidth and compute first, then changes one setting at a time against interleaved control runs, and every result must pass a long-context stability check. Bundled Python and shell scripts benchmark any OpenAI-compatible server, compute the ceilings, queue runs one after another and report a container's real memory use. Notes cover engines such as vLLM, SGLang, llama.cpp and ExLlama.
できること
- Benchmark an OpenAI-compatible model server
- Compute theoretical speed ceilings
- Tune one serving setting at a time
- Check long-context stability after each change
概要
- 公開元
- Sybil Solutions
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- examples/ceiling-ornith-b390.json
- examples/config-existing-server.json
- examples/config-sglang-docker.json
- references/ceilings.md
- references/gotchas.md
- references/levers.md
- references/methodology.md
- references/publishing.md
- scripts/bench.py
- scripts/ceiling.py
- scripts/mem.sh
- scripts/queue.sh
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
このスキルには、エージェントが実行する可能性のあるスクリプトが含まれています。
詳細
| 項目 | 内容 | 出典 |
|---|---|---|
| 種類 | スキル | |
| ツール | ドキュメントに記載なし | |
| 公開元 | Sybil Solutions | 出典 |
| 公式かどうか | ドキュメントに記載なし | |
| APIキーまたはサインインが必要 | ドキュメントに記載なし | |
| スクリプトを含む | はい | 出典 |
| プラットフォーム | ドキュメントに記載なし | |
| AIクライアント | Claude Code | 出典 |
| ライセンス | MIT | 出典 |
| 料金 | ドキュメントに記載なし | |
| 活動状況 | 最終コミット 2026年11月16日GitHubスター 198ダウンロード数のデータなし(npm・PyPIで未公開) | 出典 |
| リンク | リポジトリ |
出典
- GitHubリポジトリgithub.com/sybil-solutions/inference-optimisation-skill · 根拠となる項目:AIクライアント, ライセンス, 公開元, スクリプトを含む, 活動状況2026年11月17日
- スキルファイル(SKILL.md)github.com/sybil-solutions/inference-optimisation-skill2026年11月17日
- リポジトリ内のフォルダ(inference-optimisation)github.com/sybil-solutions/inference-optimisation-skill · 根拠となる項目:スクリプトを含む2026年11月17日