tensorrt-llm
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux.
スキルの内容
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux. It says when to choose it over vLLM or llama.cpp, how to install it from NGC Docker images or pip with the required CUDA, TensorRT and Python versions, and how to use the Python LLM API, the trtllm-serve server and its OpenAI-style chat endpoint. Patterns cover FP8 and other quantisation, tensor parallelism across GPUs and in-flight batching, with listed model families and features such as speculative decoding and LoRA serving. Three reference files hold optimisation, multi-GPU and production serving notes. Its throughput figures are the library's own claims.
できること
- Install TensorRT-LLM from NGC or pip
- Serve a model with trtllm-serve
- Load quantised models in FP8
- Spread a model across several GPUs
概要
- 公開元
- Nous Research
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/multi-gpu.md
- references/optimization.md
- references/serving.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
出典
- スキルファイル(SKILL.md)github.com/nousresearch/hermes-agent · 根拠となる項目:ライセンス, 公式かどうか, プラットフォーム2026年11月17日
- GitHubリポジトリgithub.com/nousresearch/hermes-agent · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(tensorrt-llm)github.com/nousresearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月17日
- スキルファイル(SKILL.md)github.com/NousResearch/hermes-agent2026年11月10日
- リポジトリ内のフォルダ(tensorrt-llm)github.com/NousResearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月10日