serving-llms-vllm
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM.
Was der Skill vermittelt
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM. It covers three workflows: running an OpenAI-compatible API server with settings for different model sizes, load testing, Prometheus monitoring and the vllm-openai Docker image; offline batch generation from a prompt file to a JSONL results file; and serving AWQ, GPTQ or FP8 quantised models on limited GPU memory. It gives GPU sizing per model size, explains when other runtimes such as llama.cpp or TensorRT-LLM fit better, and lists fixes for out-of-memory errors, slow first tokens and low throughput. Four reference files go deeper on deployment, tuning, quantisation and troubleshooting.
Funktionen
- Start an OpenAI-compatible vLLM server
- Run offline batch generation
- Serve quantised models on smaller GPUs
- Troubleshoot memory and throughput problems
Überblick
- Herausgeber
- Nous Research
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- references/optimization.md
- references/quantization.md
- references/server-deployment.md
- references/troubleshooting.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | In der Dokumentation nicht angegeben | |
| Herausgeber | Nous Research | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | Linux, macOS | Quelle |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 2026262.606 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Weitere Kopien dieses Skills (1)
Ihr Text weicht von diesem Skill ab. Es kann sich um angepasste Kopien oder ältere Versionen handeln.
- serving-llms-vllmlord1egypt/ra-skills
Mehr von Nous Research
41 Skills
- inference-sh-cli (Skill)
- comfyui (Skill)
- excalidraw (Skill)
- unreal-mcp (Skill)
- jupyter-notebook (Skill)
- docker-management (Skill)
Quellen
- Skill-Datei (SKILL.md)github.com/nousresearch/hermes-agent · Belegt: Lizenz, Plattformen, Enthält Skripte16. Nov. 2026
- GitHub-Repositorygithub.com/nousresearch/hermes-agent · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Skill-Datei (SKILL.md)github.com/NousResearch/hermes-agent10. Nov. 2026
- Ordner im Repository (serving-llms-vllm)github.com/NousResearch/hermes-agent · Belegt: Enthält Skripte10. Nov. 2026