Pathways: la visione di Google per modelli multitask, multimodali e sparsi
In una frase Jeff Dean presenta Pathways, l'architettura con cui Google punta ad addestrare un unico modello capace di migliaia o milioni di compiti, multimodale e attivato solo in parte per ogni richiesta.
Jeff Dean, Senior Fellow e SVP di Google Research, pubblica una visione chiamata Pathways. L'idea è addestrare un solo modello capace di fare migliaia o milioni di cose diverse, invece di costruire un modello separato per ogni compito.
Il modello dovrebbe anche essere multimodale: la parola scritta "leopardo", la parola pronunciata e il video di un leopardo dovrebbero attivare lo stesso concetto interno.
E dovrebbe essere sparso: per ogni compito si accendono solo le parti utili della rete, risparmiando calcolo ed energia.
Il post è una visione, non un prodotto: non dà numeri né benchmark. Pochi mesi dopo Google userà il sistema Pathways per addestrare PaLM (aprile 2022).
Aziende
Tool
Pathways
Tag
Fonti