HuggingFace Transformers 3.0: i tokenizer Rust e l'hub modelli
In una frase HuggingFace rilascia Transformers 3.0 con la libreria tokenizers in Rust (fino a 100× più veloci), nuove pipeline NLP e un'integrazione più stretta con il Model Hub, consolidando lo standard de facto per usare modelli pretrained in Python.
Quando un developer voleva provare un modello tipo BERT o GPT-2, c'erano dieci modi diversi di farlo, ognuno con il suo codice, le sue dipendenze e i suoi bug. HuggingFace ha unificato tutto in un'unica libreria Python, "transformers".
Con la versione 3.0 fanno un salto di qualità: i tokenizer (la parte che spezza il testo in pezzettini) sono riscritti in Rust e diventano enormemente più veloci, le pipeline preconfezionate permettono di fare sentiment analysis o QA in tre righe di codice, e il Model Hub diventa il "DockerHub" dei modelli AI.
Da qui in poi, se vuoi usare un modello AI da Python, parti quasi sempre da transformers.
Aziende
HuggingFace
Tool
Transformers
Tag
Fonti