inference-optimisation
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation.
O que a skill ensina
A skill from Sybil Solutions for making a local large language model server faster, covering decode and prefill speed, speculative decoding, KV cache size, startup and time to first token on any hardware and quantisation. The agent works out theoretical ceilings from measured memory bandwidth and compute first, then changes one setting at a time against interleaved control runs, and every result must pass a long-context stability check. Bundled Python and shell scripts benchmark any OpenAI-compatible server, compute the ceilings, queue runs one after another and report a container's real memory use. Notes cover engines such as vLLM, SGLang, llama.cpp and ExLlama.
O que faz
- Benchmark an OpenAI-compatible model server
- Compute theoretical speed ceilings
- Tune one serving setting at a time
- Check long-context stability after each change
Sobre
- Publicador
- Sybil Solutions
Funciona com
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- examples/ceiling-ornith-b390.json
- examples/config-existing-server.json
- examples/config-sglang-docker.json
- references/ceilings.md
- references/gotchas.md
- references/levers.md
- references/methodology.md
- references/publishing.md
- scripts/bench.py
- scripts/ceiling.py
- scripts/mem.sh
- scripts/queue.sh
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Esta skill inclui scripts que o seu agente pode executar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Não informado na documentação | |
| Publicador | Sybil Solutions | fonte |
| Status oficial | Não informado na documentação | |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Sim | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Claude Code | fonte |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 16 de nov. de 2026198 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório |
Fontes
- Repositório no GitHubgithub.com/sybil-solutions/inference-optimisation-skill · Comprova: Clientes de IA, Licença, Publicador, Inclui scripts, Atividade17 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/sybil-solutions/inference-optimisation-skill17 de nov. de 2026
- Pasta no repositório (inference-optimisation)github.com/sybil-solutions/inference-optimisation-skill · Comprova: Inclui scripts17 de nov. de 2026