torchtitan
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism.
Was der Skill vermittelt
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism. It covers installing the package, fetching a tokenizer from Hugging Face, choosing named run configurations with command-line overrides, launching an eight-GPU single-node run, writing a SLURM script for multi-node jobs that resume from checkpoints, and enabling Float8 training. For very large models it explains creating a seed checkpoint before splitting work into pipeline stages. Troubleshooting notes cover memory errors and checkpoint resharding, and reference files describe FSDP2, Float8 recipes, checkpoints and adding custom models.
Funktionen
- Launch single-node TorchTitan pretraining
- Write multi-node SLURM training jobs
- Enable Float8 training
- Combine data, tensor and pipeline parallelism
Überblick
- Herausgeber
- Nous Research
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- references/checkpoint.md
- references/custom-models.md
- references/float8.md
- references/fsdp.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | In der Dokumentation nicht angegeben | |
| Herausgeber | Nous Research | Quelle |
| Offizieller Status | In der Dokumentation nicht angegeben | |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | Linux, macOS | Quelle |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Nov. 2026262.606 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Quellen
- Skill-Datei (SKILL.md)github.com/nousresearch/hermes-agent · Belegt: Lizenz, Plattformen16. Nov. 2026
- GitHub-Repositorygithub.com/nousresearch/hermes-agent · Belegt: Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Datensatz aus der GitHub-APIgithub.com/nousresearch/hermes-agent · Belegt: Enthält Skripte16. Nov. 2026
- Skill-Datei (SKILL.md)github.com/NousResearch/hermes-agent10. Nov. 2026
- Ordner im Repository (torchtitan)github.com/NousResearch/hermes-agent · Belegt: Enthält Skripte10. Nov. 2026