Tree of Thoughts: l'LLM che ragiona esplorando rami alternativi
In una frase Princeton e Google DeepMind propongono Tree of Thoughts: l'LLM genera e valuta più percorsi di ragionamento come un albero di ricerca; con GPT-4 il successo sul Game of 24 passa dal 4% del Chain-of-Thought al 74%.
Il Chain-of-Thought (CoT) aiuta i modelli a ragionare passo per passo, come uno studente che mostra i calcoli. Ma il testo viene prodotto da sinistra a destra, senza la possibilità di valutare alternative o tornare indietro.
Tree of Thoughts permette al modello di esplorare più percorsi, come un albero con molti rami. A ogni passo il modello stesso valuta quali rami sono promettenti, scarta quelli senza speranza e può tornare indietro se un ramo finisce in un vicolo cieco.
Su tre compiti che richiedono pianificazione (Game of 24, scrittura creativa con vincoli e mini cruciverba) ToT migliora nettamente i risultati: con GPT-4, nel Game of 24 si passa dal 4% di successo del CoT al 74%.
Aziende
Princeton University, Google DeepMind
Tool
Tree of Thoughts, GPT-4
Tag
Fonti