torchtitan
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism.
O que a skill ensina
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism. It covers installing the package, fetching a tokenizer from Hugging Face, choosing named run configurations with command-line overrides, launching an eight-GPU single-node run, writing a SLURM script for multi-node jobs that resume from checkpoints, and enabling Float8 training. For very large models it explains creating a seed checkpoint before splitting work into pipeline stages. Troubleshooting notes cover memory errors and checkpoint resharding, and reference files describe FSDP2, Float8 recipes, checkpoints and adding custom models.
O que faz
- Launch single-node TorchTitan pretraining
- Write multi-node SLURM training jobs
- Enable Float8 training
- Combine data, tensor and pipeline parallelism
Sobre
- Publicador
- Nous Research
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- references/checkpoint.md
- references/custom-models.md
- references/float8.md
- references/fsdp.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Não informado na documentação | |
| Publicador | Nous Research | fonte |
| Status oficial | Não informado na documentação | |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Linux, macOS | fonte |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de nov. de 2026262.606 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Fontes
- Arquivo da skill (SKILL.md)github.com/nousresearch/hermes-agent · Comprova: Licença, Plataformas16 de nov. de 2026
- Repositório no GitHubgithub.com/nousresearch/hermes-agent · Comprova: Publicador, Atividade, Licença11 de nov. de 2026
- Registro na API do GitHubgithub.com/nousresearch/hermes-agent · Comprova: Inclui scripts16 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/NousResearch/hermes-agent10 de nov. de 2026
- Pasta no repositório (torchtitan)github.com/NousResearch/hermes-agent · Comprova: Inclui scripts10 de nov. de 2026