Snowflake Arctic: MoE 480B totale / 17B attivi, SOTA enterprise SQL
In una frase Snowflake rilascia Arctic, un MoE con 480B parametri totali e 17B attivi per token, SOTA su SQL e coding enterprise, Apache 2.0, addestrato con 3.5M GPU-hours su H100.
Arctic è il modello di Snowflake, una grande azienda specializzata in database e analisi dati. Il modello usa una tecnica chiamata Mixture of Experts: ha quasi 500 miliardi di parametri in totale, ma per ogni risposta ne usa solo 17 miliardi, il che lo rende molto più veloce ed economico da far girare.
La sua specialità è il codice SQL e le query sui database, dove raggiunge prestazioni all'avanguardia tra i modelli open source.
È stato addestrato con un investimento enorme — 3.5 milioni di ore GPU su chip H100 — e rilasciato con una licenza completamente libera (Apache 2.0).
Aziende
Snowflake
Tool
Snowflake Arctic
Tag
Fonti