Inferenza Base Anche noto come: Tokenizzatore

Tokenizer

Componente che trasforma il testo in token prima di passarlo al modello e ricostruisce il testo dai token in uscita.

In pratica

Tokenizzatori diversi producono conteggi diversi: lo stesso testo costa più token con GPT che con Claude o viceversa. Esistono librerie come tiktoken (OpenAI) per stimare token in locale prima di chiamare l'API.

Termini collegati

Token LLM

Visto in azione

1 voci che lo citano

9 luglio 2020

HuggingFace Transformers 3.0: i tokenizer Rust e l'hub modelli

Alto

← Tutti i termini