fairseq stabilizza il supporto a transformer modulari
In una frase Facebook AI Research consolida fairseq come framework di riferimento per sequence-to-sequence: aggiunge supporto modulare per BART, RoBERTa, mBART, wav2vec e diventa la codebase principale dei modelli FAIR del 2020.
Fairseq è una libreria Python open source di Facebook per addestrare modelli sequenziali — quelli che leggono testo o audio e producono altro testo o audio. È meno famosa di transformers o PyTorch Lightning, ma è quella su cui escono molti modelli importanti.
Durante il 2020 fairseq diventa il "luogo di nascita" di una collezione molto influente: BART (per riassunto), RoBERTa (encoder migliorato), mBART (traduzione multilingue), wav2vec 2.0 (parlato). Tutti modelli che, una volta tirati fuori, sono ridistribuiti via HuggingFace, ma il codice ufficiale resta qui.
Per i ricercatori NLP è il "kit del falegname" sotto i grandi annunci Facebook dell'anno.
Aziende
Meta, Facebook AI Research
Tool
fairseq
Tag
Fonti