torchtitan
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism.
スキルの内容
An optional skill in Nous Research's Hermes Agent, credited to Orchestra Research, for pretraining large language models with TorchTitan, PyTorch's platform that combines data, tensor, pipeline and context parallelism. It covers installing the package, fetching a tokenizer from Hugging Face, choosing named run configurations with command-line overrides, launching an eight-GPU single-node run, writing a SLURM script for multi-node jobs that resume from checkpoints, and enabling Float8 training. For very large models it explains creating a seed checkpoint before splitting work into pipeline stages. Troubleshooting notes cover memory errors and checkpoint resharding, and reference files describe FSDP2, Float8 recipes, checkpoints and adding custom models.
できること
- Launch single-node TorchTitan pretraining
- Write multi-node SLURM training jobs
- Enable Float8 training
- Combine data, tensor and pipeline parallelism
概要
- 公開元
- Nous Research
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/checkpoint.md
- references/custom-models.md
- references/float8.md
- references/fsdp.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
出典
- スキルファイル(SKILL.md)github.com/nousresearch/hermes-agent · 根拠となる項目:ライセンス, プラットフォーム2026年11月16日
- GitHubリポジトリgithub.com/nousresearch/hermes-agent · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- GitHub APIのレコードgithub.com/nousresearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月16日
- スキルファイル(SKILL.md)github.com/NousResearch/hermes-agent2026年11月10日
- リポジトリ内のフォルダ(torchtitan)github.com/NousResearch/hermes-agent · 根拠となる項目:スクリプトを含む2026年11月10日