distributed-training-deepspeed
A skill in the claude-code-templates collection, credited to Orchestra Research, with guidance for training large models across GPUs with Microsoft's DeepSpeed library.
スキルの内容
A skill in the claude-code-templates collection, credited to Orchestra Research, with guidance for training large models across GPUs with Microsoft's DeepSpeed library. It says it was generated from DeepSpeed's documentation and covers the ZeRO stages that split optimiser states, gradients and parameters across processes, offloading to CPU memory or NVMe storage, the JSON configuration for batch sizes, optimisers, schedulers and mixed precision, mixture-of-experts models, learning rate range tests, communication-efficient optimisers, pipeline parallelism and the flops profiler. It lists deepspeed, torch, transformers and accelerate as dependencies and notes the DeepSpeed versions some features need. The text is long and mostly condensed documentation.
できること
- Configure DeepSpeed ZeRO stages
- Offload model state to CPU or NVMe
- Write a DeepSpeed JSON configuration
- Set up mixture-of-experts training
概要
- 公開元
- davila7
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/08.md
- references/09.md
- references/2020.md
- references/2023.md
- references/assets.md
- references/index.md
- references/mii.md
- references/other.md
- references/tutorials.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
出典
- スキルファイル(SKILL.md)github.com/davila7/claude-code-templates · 根拠となる項目:ライセンス2026年11月10日
- GitHubリポジトリgithub.com/davila7/claude-code-templates · 根拠となる項目:公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(distributed-training-deepspeed)github.com/davila7/claude-code-templates · 根拠となる項目:スクリプトを含む2026年11月10日