tensorrt-llm
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux.
O que a skill ensina
An optional Hermes Agent skill, credited to Orchestra Research, on serving large language models with NVIDIA's TensorRT-LLM library on NVIDIA GPUs under Linux. It says when to choose it over vLLM or llama.cpp, how to install it from NGC Docker images or pip with the required CUDA, TensorRT and Python versions, and how to use the Python LLM API, the trtllm-serve server and its OpenAI-style chat endpoint. Patterns cover FP8 and other quantisation, tensor parallelism across GPUs and in-flight batching, with listed model families and features such as speculative decoding and LoRA serving. Three reference files hold optimisation, multi-GPU and production serving notes. Its throughput figures are the library's own claims.
O que faz
- Install TensorRT-LLM from NGC or pip
- Serve a model with trtllm-serve
- Load quantised models in FP8
- Spread a model across several GPUs
Sobre
- Publicador
- Nous Research
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- references/multi-gpu.md
- references/optimization.md
- references/serving.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Não informado na documentação | |
| Publicador | Nous Research | fonte |
| Status oficial | Comunidade (não publicado pelo fornecedor da ferramenta) | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Linux | fonte |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de nov. de 2026262.606 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Fontes
- Arquivo da skill (SKILL.md)github.com/nousresearch/hermes-agent · Comprova: Licença, Status oficial, Plataformas17 de nov. de 2026
- Repositório no GitHubgithub.com/nousresearch/hermes-agent · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Pasta no repositório (tensorrt-llm)github.com/nousresearch/hermes-agent · Comprova: Inclui scripts17 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/NousResearch/hermes-agent10 de nov. de 2026
- Pasta no repositório (tensorrt-llm)github.com/NousResearch/hermes-agent · Comprova: Inclui scripts10 de nov. de 2026