NVIDIA amplia Nemotron 3.5: Super VL da 120B e Bolt 74B-A9B a 2 bit per girare in 24 GB
In una frase Il 15 ottobre NVIDIA rilascia Nemotron 3.5 Super VL, modello visione-linguaggio aperto da 120 miliardi di parametri, e Nemotron 3.5 Bolt 74B-A9B, quantizzato nativamente a 2 bit per stare in 24 GB di memoria su PC RTX e DGX Spark. Una variante Bolt E4B da 4 GB e annunciata per il 23 ottobre.
NVIDIA continua ad allargare la sua famiglia di modelli aperti Nemotron. Il primo nuovo arrivo, Super VL, e un modello che capisce testo e immagini, con un punto di forza preciso: leggere documenti, tabelle, grafici, pagine web e PDF. NVIDIA pubblica non solo i pesi ma anche dataset e ricette di addestramento.
Il secondo, Bolt 74B-A9B, e pensato per girare in locale: ha 74 miliardi di parametri ma ne usa 9 per volta ed e compresso a 2 bit fin dall origine, cosi entra in 24 GB di memoria. Significa poterlo usare su una scheda grafica GeForce RTX di fascia alta o su un DGX Spark, lasciando spazio ad altre applicazioni.
Entrambi sono gia su Hugging Face e Bolt funziona con gli strumenti piu diffusi per l AI locale come llama.cpp, Ollama e LM Studio. Il 23 ottobre e atteso un fratello minore da 4 GB per assistenti vocali e personaggi interattivi.
Aziende
NVIDIA
Tool
Nemotron 3.5 Super VL, Nemotron 3.5 Bolt 74B-A9B, Nemotron 3.5 Bolt E4B
Tag
Fonti