LLaVA-1.5: vision-language open source SOTA su 11 benchmark con 1,2M di dati pubblici
In una frase LLaVA-1.5 combina CLIP ViT-L/14 a 336px, un proiettore MLP e Vicuna v1.5: risultati state-of-the-art su 11 benchmark con circa 1,2 milioni di dati pubblici e un giorno di training su un nodo con 8 A100.
Insegnare a un modello di linguaggio a "vedere" è complicato: bisogna collegare il mondo visivo con quello testuale in modo che il modello possa rispondere a domande su immagini, descrivere scene o leggere testo in fotografie.
LLaVA-1.5 fa questo in modo sorprendentemente economico: prende un encoder visivo già addestrato (CLIP), lo collega a un LLM testuale (Vicuna) attraverso un piccolo strato di proiezione, e addestra il tutto con circa 1,2 milioni di esempi pubblici, in circa un giorno su un singolo nodo con 8 GPU A100. Niente dataset enormi, niente architetture complesse.
Il risultato è un modello open source che ottiene risultati state-of-the-art su 11 benchmark. È diventato una base di riferimento per la ricerca in questo campo.
Aziende
University of Wisconsin-Madison, Microsoft Research
Tool
LLaVA-1.5, CLIP ViT-L/14-336px, Vicuna v1.5
Tag
Fonti