tensorrt-llm
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux.
Was der Skill vermittelt
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux. It says when to choose it over vLLM or llama.cpp, how to install it from NGC Docker images or pip with the required CUDA, TensorRT and Python versions, and how to use the Python LLM API, the trtllm-serve server and its OpenAI-style chat endpoint. Patterns cover FP8 and other quantisation, tensor parallelism across GPUs and in-flight batching, with listed model families and features such as speculative decoding and LoRA serving. Three reference files hold optimisation, multi-GPU and production serving notes. Its throughput figures are the library's own claims.
Funktionen
- Install TensorRT-LLM from NGC or pip
- Serve a model with trtllm-serve
- Load quantised models in FP8
- Spread a model across several GPUs
Überblick
- Herausgeber
- Nous Research
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- references/multi-gpu.md
- references/optimization.md
- references/serving.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | In der Dokumentation nicht angegeben | |
| Herausgeber | Nous Research | Quelle |
| Offizieller Status | Community (nicht vom Hersteller des Tools veröffentlicht) | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | Linux | Quelle |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 2026262.606 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Quellen
- Skill-Datei (SKILL.md)github.com/nousresearch/hermes-agent · Belegt: Lizenz, Offizieller Status, Plattformen17. Nov. 2026
- GitHub-Repositorygithub.com/nousresearch/hermes-agent · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (tensorrt-llm)github.com/nousresearch/hermes-agent · Belegt: Enthält Skripte17. Nov. 2026
- Skill-Datei (SKILL.md)github.com/NousResearch/hermes-agent10. Nov. 2026
- Ordner im Repository (tensorrt-llm)github.com/NousResearch/hermes-agent · Belegt: Enthält Skripte10. Nov. 2026