Gemma 2: la seconda generazione open di Google con distillazione da Gemini
In una frase Google rilascia Gemma 2 (9B e 27B), seconda generazione open ad architettura Gemini-derived con soft attention capping, knowledge distillation e performance class-leading nella fascia <30B.
Google rilascia la seconda generazione della famiglia open Gemma, dopo quella di febbraio. Due taglie: 9 miliardi e 27 miliardi di parametri, entrambe scaricabili gratis.
La novità: invece di addestrarli da zero, hanno usato un trucco chiamato "distillazione". In pratica un modello molto più grande (Gemini interno) ha "fatto da insegnante" per Gemma 2, che ha imparato direttamente da lui invece che solo dai dati grezzi.
Risultato: il 27B di Gemma 2 supera Llama 3 70B in molti benchmark pur essendo meno della metà.
Aziende
Google, Google DeepMind
Tool
Gemma 2, Gemma 2 9B, Gemma 2 27B
Tag
Fonti