In pratica
Le API degli LLM si pagano a token in ingresso e in uscita. In inglese 1 token corrisponde circa a 0,75 parole, in italiano un po' meno. Misurare i token del prompt aiuta a stimare costi e a stare dentro il limite di contesto.
Termini collegati
Visto in azione
6 voci che lo citano- MedioCerebras tocca 2.500+ token/sec su Llama: record inferenza dell'anno
- AltoEMU3: un unico transformer per testo, immagini e video
- MedioRebuff: difesa a tre livelli dalla prompt injection con canary token
- AltoGemini 1.5 Pro: 1 milione di token nel contesto
- AltoAudioPaLM: il primo LLM che processa e genera audio come testo
- AltoHuggingFace Transformers 3.0: i tokenizer Rust e l'hub modelli