serving-llms-vllm
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM.
O que a skill ensina
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM. It covers three workflows: running an OpenAI-compatible API server with settings for different model sizes, load testing, Prometheus monitoring and the vllm-openai Docker image; offline batch generation from a prompt file to a JSONL results file; and serving AWQ, GPTQ or FP8 quantised models on limited GPU memory. It gives GPU sizing per model size, explains when other runtimes such as llama.cpp or TensorRT-LLM fit better, and lists fixes for out-of-memory errors, slow first tokens and low throughput. Four reference files go deeper on deployment, tuning, quantisation and troubleshooting.
O que faz
- Start an OpenAI-compatible vLLM server
- Run offline batch generation
- Serve quantised models on smaller GPUs
- Troubleshoot memory and throughput problems
Sobre
- Publicador
- Nous Research
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- references/optimization.md
- references/quantization.md
- references/server-deployment.md
- references/troubleshooting.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Não informado na documentação | |
| Publicador | Nous Research | fonte |
| Status oficial | Não informado na documentação | |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Linux, macOS | fonte |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de nov. de 2026262.606 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Outras cópias desta skill (1)
Elas têm diferenças no texto em relação a esta skill. Podem ser cópias adaptadas ou versões mais antigas.
- serving-llms-vllmlord1egypt/ra-skills
Mais de Nous Research
41 skills
- inference-sh-cli (Skill)
- comfyui (Skill)
- excalidraw (Skill)
- unreal-mcp (Skill)
- jupyter-notebook (Skill)
- docker-management (Skill)
Fontes
- Arquivo da skill (SKILL.md)github.com/nousresearch/hermes-agent · Comprova: Licença, Plataformas, Inclui scripts16 de nov. de 2026
- Repositório no GitHubgithub.com/nousresearch/hermes-agent · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/NousResearch/hermes-agent10 de nov. de 2026
- Pasta no repositório (serving-llms-vllm)github.com/NousResearch/hermes-agent · Comprova: Inclui scripts10 de nov. de 2026