huggingface-tokenizers
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers.
O que a skill ensina
Orchestra Research's skill for Hugging Face's tokenizers library, the Rust-backed tokeniser package used with Transformers. It explains when to choose it over alternatives such as SentencePiece or tiktoken, how to load pretrained tokenisers, and how to train custom vocabularies with BPE, WordPiece or Unigram models. It also covers normalisers and pre-tokenisers, padding and truncation, batch encoding, and offset tracking that maps tokens back to the original text. Reference files go into algorithms, the processing pipeline, training and integration with Transformers and Datasets. It assumes the tokenizers, transformers and datasets Python packages.
O que faz
- Train custom BPE, WordPiece or Unigram tokenisers
- Configure padding, truncation and batch encoding
- Track token offsets back to the source text
Sobre
- Publicador
- Orchestra Research
- Ferramenta
- Hugging Face
Instalação
O projeto não documenta passos de instalação que tenhamos conseguido confirmar. Veja as instruções do próprio projeto
O que tem dentro
- references/algorithms.md
- references/integration.md
- references/pipeline.md
- references/training.md
Servidores MCP e skills podem executar código no seu computador e agir sobre os seus dados. Revise o código-fonte antes de instalar.
Detalhes
| Fato | Valor | Fonte |
|---|---|---|
| Tipo | Skill | |
| Ferramenta | Hugging Face | |
| Publicador | Orchestra Research | fonte |
| Status oficial | Comunidade (não publicado pelo fornecedor da ferramenta) | fonte |
| Exige chave de API ou login | Não informado na documentação | |
| Inclui scripts | Não | fonte |
| Plataformas | Não informado na documentação | |
| Clientes de IA | Não informado na documentação | |
| Licença | MIT | fonte |
| Preço | Não informado na documentação | |
| Atividade | Último commit em 11 de out. de 202614.662 estrelas no GitHubDados de download indisponíveis (não está no npm nem no PyPI) | fonte |
| Links | Repositório Site |
Mais de Orchestra Research
4 skills
Todos os 4 de Orchestra Research →Fontes
- Arquivo da skill (SKILL.md)github.com/orchestra-research/ai-research-skills12 de nov. de 2026
- Arquivo de licença (LICENSE)github.com/orchestra-research/ai-research-skills · Comprova: Licença12 de nov. de 2026
- Repositório no GitHubgithub.com/orchestra-research/ai-research-skills · Comprova: Status oficial, Publicador, Atividade, Licença19 de nov. de 2026
- Pasta no repositório (huggingface-tokenizers)github.com/orchestra-research/ai-research-skills · Comprova: Inclui scripts12 de nov. de 2026
- Arquivo da skill (SKILL.md)github.com/Orchestra-Research/AI-Research-SKILLs19 de nov. de 2026
- Pasta no repositório (huggingface-tokenizers)github.com/Orchestra-Research/AI-Research-SKILLs · Comprova: Inclui scripts19 de nov. de 2026