Toolformer: l'LLM che impara da solo a usare i tool
In una frase Meta AI presenta Toolformer: un LLM che apprende autonomamente quando e come chiamare tool esterni (calcolatrice, Wikipedia, calendario) usando pochi esempi self-supervised.
Fino ad oggi, per far usare strumenti esterni a un modello linguistico — come una calcolatrice o un motore di ricerca — bisognava addestrarlo esplicitamente con migliaia di esempi annotati a mano. Un lavoro costoso e poco flessibile.
Meta AI propone un approccio diverso: il modello genera da solo le chiamate API durante il pre-training, verifica se l'output dello strumento migliora la sua risposta, e tiene solo le chiamate utili. Nessun supervisore umano.
Il risultato è un modello che sa usare cinque tool diversi in modo fluido, migliorando nettamente su calcoli numerici, domande fattuali e ragionamento temporale — con prestazioni che superano GPT-3 su alcuni task nonostante sia molto più piccolo.
Aziende
Meta AI
Tool
Toolformer
Tag
Fonti