AWQ: quantizzazione 4-bit activation-aware dei pesi degli LLM
In una frase Il gruppo di Song Han al MIT pubblica AWQ: quantizzazione dei soli pesi a basso numero di bit che individua l'1% di pesi più importanti guardando le attivazioni e li protegge con una riscalatura per canale, senza backpropagation né ricostruzione.
Quantizzare un modello significa comprimere i suoi valori numerici, per esempio da 16 a 4 bit, per risparmiare memoria. Il problema è che non tutti i pesi sono ugualmente importanti: comprimerli tutti allo stesso modo fa perdere qualità.
AWQ, sviluppato dal gruppo di Song Han al MIT, osserva che proteggere appena l'1% dei pesi più importanti riduce molto l'errore, e che quei pesi si riconoscono guardando le attivazioni che ricevono, non i pesi stessi. Invece di tenerli a precisione piena, AWQ li riscala prima della quantizzazione, così tutto il modello resta nello stesso formato a 4 bit.
Il metodo non richiede di riaddestrare il modello e usa solo un piccolo insieme di dati di calibrazione. Nelle versioni successive del paper gli autori presentano anche TinyChat, un motore di inferenza che sfrutta AWQ su GPU desktop e mobili.
Aziende
MIT Han Lab
Tool
AWQ, TinyChat
Tag
Fonti