Orca: imparare il ragionamento di GPT-4 tramite explanation traces
In una frase Microsoft Research addestra Orca 13B su spiegazioni passo-passo di GPT-4 (explanation traces), superando ChatGPT su BigBench e AGIEval con 13 miliardi di parametri.
La maggior parte dei modelli open-source impara imitando solo le risposte finali di modelli più grandi. Orca fa qualcosa di diverso: impara anche il ragionamento che porta alla risposta, leggendo le spiegazioni passo-passo che GPT-4 fornisce quando risolve un problema.
È come la differenza tra copiare il compito di matematica e guardare come il professore risolve ogni passaggio alla lavagna.
Il risultato è un modello da 13 miliardi di parametri che, su certi test di ragionamento complesso, batte modelli molto più grandi incluso ChatGPT.
Aziende
Microsoft
Tool
Orca, GPT-4
Tag
Fonti