huggingface-tokenizers
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers.
スキルの内容
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers. It explains when to choose it over alternatives such as SentencePiece or tiktoken, how to load pretrained tokenisers, and how to train custom vocabularies with BPE, WordPiece or Unigram models. It also covers normalisers and pre-tokenisers, padding and truncation, batch encoding, and offset tracking that maps tokens back to the original text. Reference files go into algorithms, the processing pipeline, training and integration with Transformers and Datasets. It assumes the tokenizers, transformers and datasets Python packages.
できること
- Train custom BPE, WordPiece or Unigram tokenisers
- Configure padding, truncation and batch encoding
- Track token offsets back to the source text
概要
- 公開元
- Orchestra Research
- ツール
- Hugging Face
インストール
プロジェクトのドキュメントに、確認できるインストール手順がありません。 プロジェクトの手順を見る
含まれるファイル
- references/algorithms.md
- references/integration.md
- references/pipeline.md
- references/training.md
MCPサーバーやスキルは、お使いのコンピューターでコードを実行したり、データを操作したりできます。インストールする前にソースを確認してください。
詳細
| 項目 | 内容 | 出典 |
|---|---|---|
| 種類 | スキル | |
| ツール | Hugging Face | |
| 公開元 | Orchestra Research | 出典 |
| 公式かどうか | コミュニティ(ツールのベンダーによる公開ではありません) | 出典 |
| APIキーまたはサインインが必要 | ドキュメントに記載なし | |
| スクリプトを含む | いいえ | 出典 |
| プラットフォーム | ドキュメントに記載なし | |
| AIクライアント | ドキュメントに記載なし | |
| ライセンス | MIT | 出典 |
| 料金 | ドキュメントに記載なし | |
| 活動状況 | 最終コミット 2026年10月11日GitHubスター 14,431ダウンロード数のデータなし(npm・PyPIで未公開) | 出典 |
| リンク | リポジトリ Webサイト |
Orchestra Researchのほかの掲載
スキル4件
Orchestra Researchの掲載4件をすべて見る →出典
- スキルファイル(SKILL.md)github.com/orchestra-research/ai-research-skills2026年11月12日
- ライセンスファイル(LICENSE)github.com/orchestra-research/ai-research-skills · 根拠となる項目:ライセンス2026年11月12日
- GitHubリポジトリgithub.com/orchestra-research/ai-research-skills · 根拠となる項目:公式かどうか, 公開元, 活動状況, ライセンス2026年11月11日
- リポジトリ内のフォルダ(huggingface-tokenizers)github.com/orchestra-research/ai-research-skills · 根拠となる項目:スクリプトを含む2026年11月12日
- スキルファイル(SKILL.md)github.com/Orchestra-Research/AI-Research-SKILLs2026年11月10日
- リポジトリ内のフォルダ(huggingface-tokenizers)github.com/Orchestra-Research/AI-Research-SKILLs · 根拠となる項目:スクリプトを含む2026年11月10日