RAG: Retrieval-Augmented Generation entra nella letteratura
In una frase Lewis et al. di Facebook AI pubblicano il paper RAG, che combina un retriever denso (DPR) con un seq2seq generativo (BART) per rispondere a domande knowledge-intensive senza memorizzare tutti i fatti nei pesi.
Un modello come GPT-3 sa tante cose perché le ha "memorizzate" durante l'addestramento, ma quando deve rispondere a domande specifiche su fatti reali sbaglia spesso e inventa. Inoltre, se vuoi aggiornare le sue conoscenze devi riaddestrarlo.
Facebook propone un'idea diversa che diventerà fondamentale: collegare il modello a un motore di ricerca. Quando arriva una domanda, prima il sistema cerca i documenti più rilevanti in un grande database, e poi passa al modello sia la domanda sia i documenti trovati. La risposta viene scritta basandosi su informazioni reali.
Per chiunque costruirà chatbot aziendali o assistenti sui propri dati, questo è il pattern di riferimento. Nasce qui, anche se il nome "RAG" entrerà nel vocabolario comune solo due anni più tardi.
Aziende
Meta, Facebook AI Research
Tool
RAG, DPR
Tag
Fonti