serving-llms-vllm
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM.
スキルの内容
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for serving large language models with vLLM. It covers three workflows: running an OpenAI-compatible API server with settings for different model sizes, load testing, Prometheus monitoring and the vllm-openai Docker image; offline batch generation from a prompt file to a JSONL results file; and serving AWQ, GPTQ or FP8 quantised models on limited GPU memory. It gives GPU sizing per model size, explains when other runtimes such as llama.cpp or TensorRT-LLM fit better, and lists fixes for out-of-memory errors, slow first tokens and low throughput. Four reference files go deeper on deployment, tuning, quantisation and troubleshooting.
できること
- Start an OpenAI-compatible vLLM server
- Run offline batch generation
- Serve quantised models on smaller GPUs
- Troubleshoot memory and throughput problems
概要
- 公開元
- Nous Research
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/optimization.md
- references/quantization.md
- references/server-deployment.md
- references/troubleshooting.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
このスキルのほかのコピー(1件)
このスキルとは内容が異なります。手を加えたコピーか、古いバージョンの可能性があります。
- serving-llms-vllmlord1egypt/ra-skills
Nous Researchのほかの掲載
スキル41件
- inference-sh-cli (スキル)
- comfyui (スキル)
- excalidraw (スキル)
- unreal-mcp (スキル)
- jupyter-notebook (スキル)
- docker-management (スキル)
出典
- スキルファイル(SKILL.md)github.com/nousresearch/hermes-agent · 根拠となる項目:ライセンス, プラットフォーム, スクリプトを含む2026年11月16日
- GitHubリポジトリgithub.com/nousresearch/hermes-agent · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- スキルファイル(SKILL.md)github.com/NousResearch/hermes-agent2026年11月10日
- リポジトリ内のフォルダ(serving-llms-vllm)github.com/NousResearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月10日