Longformer: sliding-window attention per documenti lunghi
In una frase Allen Institute for AI pubblica Longformer, un transformer che combina sliding-window attention locale e attention globale su token speciali, scala linearmente con la lunghezza, viene pre-addestrato su sequenze da 4096 token e batte RoBERTa su task long-document.
I modelli come BERT possono leggere al massimo qualche centinaio di parole. Se vuoi che leggano un articolo, un contratto o un PDF intero, devi spezzettarli, perdendo contesto.
Allen Institute presenta Longformer, una variante che cambia il modo di guardare le parole. Invece di confrontare ogni parola con tutte le altre, ne confronta solo poche vicine (una finestra che scorre), più qualche "punto chiave" che guarda tutto il testo.
Risultato: un modello di quella famiglia può leggere testi di circa 4000 token in un colpo solo, e sui documenti lunghi va meglio di RoBERTa. È uno dei primi modelli pratici per QA e classificazione su documenti veri.
Aziende
Allen Institute for AI
Tool
Longformer
Tag
Fonti