huggingface-tokenizers
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers.
Was der Skill vermittelt
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers. It explains when to choose it over alternatives such as SentencePiece or tiktoken, how to load pretrained tokenisers, and how to train custom vocabularies with BPE, WordPiece or Unigram models. It also covers normalisers and pre-tokenisers, padding and truncation, batch encoding, and offset tracking that maps tokens back to the original text. Reference files go into algorithms, the processing pipeline, training and integration with Transformers and Datasets. It assumes the tokenizers, transformers and datasets Python packages.
Funktionen
- Train custom BPE, WordPiece or Unigram tokenisers
- Configure padding, truncation and batch encoding
- Track token offsets back to the source text
Überblick
- Herausgeber
- Orchestra Research
- Tool
- Hugging Face
Installation
Das Projekt dokumentiert keine Installationsschritte, die wir bestätigen konnten. Zur Anleitung des Projekts
Was enthalten ist
- references/algorithms.md
- references/integration.md
- references/pipeline.md
- references/training.md
MCP-Server und Skills können Code auf deinem Rechner ausführen und auf deine Daten zugreifen. Prüfe den Quellcode, bevor du etwas installierst.
Details
| Angabe | Wert | Quelle |
|---|---|---|
| Typ | Skill | |
| Tool | Hugging Face | |
| Herausgeber | Orchestra Research | Quelle |
| Offizieller Status | Community (nicht vom Hersteller des Tools veröffentlicht) | Quelle |
| Braucht API-Key oder Anmeldung | In der Dokumentation nicht angegeben | |
| Enthält Skripte | Nein | Quelle |
| Plattformen | In der Dokumentation nicht angegeben | |
| KI-Clients | In der Dokumentation nicht angegeben | |
| Lizenz | MIT | Quelle |
| Preis | In der Dokumentation nicht angegeben | |
| Aktivität | Letzter Commit am 11. Okt. 202614.431 GitHub-SterneKeine Download-Daten verfügbar (nicht auf npm oder PyPI) | Quelle |
| Links | Repository Website |
Mehr von Orchestra Research
4 Skills
Alle 4 von Orchestra Research →Quellen
- Skill-Datei (SKILL.md)github.com/orchestra-research/ai-research-skills12. Nov. 2026
- Lizenzdatei (LICENSE)github.com/orchestra-research/ai-research-skills · Belegt: Lizenz12. Nov. 2026
- GitHub-Repositorygithub.com/orchestra-research/ai-research-skills · Belegt: Offizieller Status, Herausgeber, Aktivität, Lizenz11. Nov. 2026
- Ordner im Repository (huggingface-tokenizers)github.com/orchestra-research/ai-research-skills · Belegt: Enthält Skripte12. Nov. 2026
- Skill-Datei (SKILL.md)github.com/Orchestra-Research/AI-Research-SKILLs10. Nov. 2026
- Ordner im Repository (huggingface-tokenizers)github.com/Orchestra-Research/AI-Research-SKILLs · Belegt: Enthält Skripte10. Nov. 2026