In pratica
È usato da GPT, Llama, Mistral e quasi tutti gli LLM occidentali. Spiega perché "playing" diventa magari `play` + `ing`: pezzi comuni hanno un solo token, parole rare ne usano molti. Influisce direttamente sul costo per token e sulla qualità su lingue non inglesi.
Termini collegati
Visto in azione
0 voci che lo citanoNessuna voce dell'archivio lo cita esplicitamente. Compare in contesti più ampi.