Groq LPU: l'inferenza a 500 token al secondo diventa virale
In una frase A metà febbraio 2024 la demo pubblica di Groq su modelli open come Mixtral 8x7B genera circa 500 token al secondo e diventa virale su X; nello stesso periodo parte GroqCloud per gli sviluppatori.
Con quasi tutti i chatbot si aspetta che il testo compaia parola dopo parola. Groq, startup fondata nel 2016 da ex dipendenti Google guidati da Jonathan Ross (tra i progettisti della TPU), ha costruito un chip dedicato all'inferenza dei modelli linguistici che chiama LPU (Language Processing Unit).
A febbraio 2024 la sua demo pubblica, con modelli open come Mixtral 8x7B, genera risposte a circa 500 token al secondo: la risposta appare quasi tutta insieme. Le prove circolano su X e Groq diventa un caso in pochi giorni.
La velocità dell'inferenza, fino ad allora data per scontata come lenta, diventa un parametro su cui competere.
Aziende
Groq
Tool
Groq LPU, GroqCloud
Tag
Fonti