Vision Transformer (ViT): "An Image is Worth 16x16 Words"
In una frase Google Research presenta il Vision Transformer, che applica un transformer puro a patch di immagini come fossero token, e mostra che con un pre-training su dataset molto grandi eguaglia o supera le migliori CNN su ImageNet e altri benchmark, con meno compute di addestramento.
Per decenni il riconoscimento delle immagini è stato dominato da un tipo di rete neurale specializzata: le reti convoluzionali (CNN). Erano fatte apposta per immagini: guardavano piccole regioni alla volta, usavano filtri, ecc.
Google fa un esperimento spavaldo: prende il transformer — l'architettura nata per il testo — e gli dà direttamente le immagini in pasto, divise in tante piccole "tessere" di 16×16 pixel trattate come parole. Niente convoluzioni, niente meccanismi specifici per la visione.
Risultato: con abbastanza dati di pre-training, regge il confronto con le migliori CNN e le supera. La stessa famiglia di architetture del testo funziona anche sulle immagini. Da qui in poi i transformer entrano stabilmente nella visione: CLIP, per esempio, userà encoder visivi ViT.
Aziende
Tool
ViT, Vision Transformer
Tag
Fonti