inference-optimisation
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation.
Was der Skill vermittelt
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation. The agent works out theoretical ceilings from measured memory bandwidth and compute first, then changes one setting at a time against interleaved control runs, and every result must pass a long-context stability check. Bundled Python and shell scripts benchmark any OpenAI-compatible server, compute the ceilings, queue runs one after another and report a container's real memory use. Notes cover engines such as vLLM, SGLang, llama.cpp and ExLlama.
Funktionen
- Benchmark an OpenAI-compatible model server
- Compute theoretical speed ceilings
- Tune one serving setting at a time
- Check long-context stability after each change
Überblick
- Herausgeber
- Sybil Solutions
Funktioniert mit
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- examples/ceiling-ornith-b390.json
- examples/config-existing-server.json
- examples/config-sglang-docker.json
- references/ceilings.md
- references/gotchas.md
- references/levers.md
- references/methodology.md
- references/publishing.md
- scripts/bench.py
- scripts/ceiling.py
- scripts/mem.sh
- scripts/queue.sh
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Dieser Skill enthält Skripte, die dein Agent ausführen kann.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | In der Dokumentation nicht angegeben | |
| Herausgeber | Sybil Solutions | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Ja | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | Claude Code | Quelle |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 16. Nov. 2026198 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository |
Quellen
- GitHub-Repositorygithub.com/sybil-solutions/inference-optimisation-skill · Belegt: KI-Clients, Lizenz, Herausgeber, Enthält Skripte, Aktivität17. Nov. 2026
- Skill-Datei (SKILL.md)github.com/sybil-solutions/inference-optimisation-skill17. Nov. 2026
- Ordner im Repository (inference-optimisation)github.com/sybil-solutions/inference-optimisation-skill · Belegt: Enthält Skripte17. Nov. 2026