What Is ChatGPT Doing? — Stephen Wolfram spiega tutto

Chi è: Stephen Wolfram è un fisico-matematico britannico, fondatore di Wolfram Research. Creatore di Mathematica (1988), il software di calcolo simbolico più usato in matematica e fisica, e di Wolfram Alpha (2009), il motore di risposta computazionale. Ha pubblicato il controverso "A New Kind of Science" (2002). Non è un ricercatore ML — è qualcuno che capisce la matematica e il computing in modo profondo e con una prospettiva diversa da chi lavora nel campo dall'interno. Il suo articolo "What Is ChatGPT Doing — and Why Does It Work?" è uscito nel febbraio 2023 e ha raggiunto milioni di lettori: è considerata la migliore spiegazione accessibile del funzionamento degli LLM disponibile online.

Il punto di partenza: probabilità

Wolfram parte dall'inizio assoluto, senza dare nulla per scontato. Cosa fa ChatGPT quando genera testo? Sceglie il prossimo token — unità di testo più piccola di una parola, spesso parti di parola — in base alle probabilità condizionate al testo precedente. Data la sequenza di token finora, qual è il token più probabile che segue? Questo processo viene ripetuto token dopo token per produrre una risposta. Descritto così, sembra banale — quasi meccanico. Ma la domanda interessante è: come fa il modello a sviluppare buone probabilità? La risposta è nel training, e Wolfram costruisce l'intuizione con la pazienza di un insegnante eccellente.

L'approccio di Wolfram è costruire dal basso verso l'alto. Prima spiega cosa sono le reti neurali partendo da neuroni biologici e arrivando ai perceptron artificiali. Poi la backpropagation — come si aggiornano i pesi della rete in base agli errori. Poi introduce il transformer — l'architettura specifica che fa funzionare i modelli moderni — con il meccanismo di attenzione che permette al modello di pesare diverse parti della sequenza di input. Poi il training su miliardi di testi: cosa significa ottimizzare i pesi di una rete neurale con 100 miliardi di parametri su terabyte di testo umano. Ogni livello si appoggia sul precedente senza salti logici.

Perché le reti neurali "capiscono" qualcosa

Questa è la sezione concettualmente più importante e originale dell'articolo. Wolfram affronta direttamente la domanda che molti si pongono: un sistema che fa solo statistica sul testo può davvero "capire" qualcosa? La sua risposta è sofisticata. Predire bene la prossima parola in un testo non è un compito banale. Per completare correttamente la frase "il presidente degli Stati Uniti ha firmato ___", un sistema deve sapere che esiste una carica chiamata presidente, che quella carica ha poteri legislativi, che uno di quei poteri è firmare le leggi, che le leggi vengono dal Congresso. Senza questa struttura di conoscenza implicita, il modello non può prevedere bene.

La comprensione emerge dall'ottimizzazione della previsione. Un modello addestrato a prevedere bene il testo deve necessariamente internalizzare strutture — grammaticali, fattuali, logiche, causali — che sono presenti nel corpus di training. Non "sa" queste cose come le sa un essere umano, ma ha rappresentazioni interne che funzionalmente corrispondono a queste strutture. Wolfram non dice che i LLM sono coscienti o che "capiscono" nel senso filosofico pieno. Dice qualcosa di più preciso: la previsione accurata del testo è computazionalmente equivalente a sviluppare modelli del mondo. È una distinzione importante che molte discussioni populari confondono.

Il ruolo dello spazio semantico

Una delle sezioni più visivamente affascinanti dell'articolo introduce la nozione di spazio semantico — lo spazio ad alta dimensione in cui le parole e i concetti sono rappresentati come vettori di numeri reali (i famosi "embeddings"). Parole semanticamente simili si trovano vicine in questo spazio. Il classico esempio di word2vec: "re" - "uomo" + "donna" ≈ "regina" — non è un caso — riflette la struttura geometrica dello spazio semantico appreso. I transformer moderni imparano rappresentazioni molto più ricche dei singoli token: il contesto cambia la rappresentazione.

Wolfram mostra con visualizzazioni (riduzioni dimensionali come UMAP e t-SNE) come questi spazi semantici emergono dal training e contengano struttura genuina, non solo correlazioni superficiali. I concetti legati al cibo si raggruppano, quelli legati alla politica si raggruppano, quelli legati alle emozioni si raggruppano — anche se il modello non ha mai ricevuto etichette esplicite su queste categorie. La struttura emerge dall'esposizione al linguaggio naturale umano. Wolfram descrive questo fenomeno con una certa meraviglia: il fatto che lo spazio semantico abbia struttura geometrica coerente è evidenza che il linguaggio umano stesso ha struttura latente che può essere appresa.

Perché funziona così bene

Wolfram formula una congettura che è la tesi centrale implicita dell'articolo: i LLM funzionano così bene perché il linguaggio umano ha struttura regolare e comprimibile. Se il linguaggio fosse completamente casuale — se ogni frase fosse indipendente dalle altre, se le parole non avessero relazioni semantiche stabili — nessun modello statistico potrebbe imparare a prevederlo. Il fatto che GPT-4 funzioni bene — che possa completare frasi in modo sensato, rispondere a domande, tradurre, ragionare — è evidenza empirica che il pensiero umano, almeno nella forma in cui si manifesta nel testo scritto, ha regolarità profonde e catturabili.

Wolfram chiama questa proprietà "computational reducibility of human thought" — la riducibilità computazionale del pensiero umano. Non tutto il pensiero è riducibile: ci sono problemi che richiedono simulazione passo-passo senza scorciatoie. Ma il linguaggio ordinario, il ragionamento quotidiano, la conoscenza fattuale — questi hanno struttura che può essere compressa in miliardi di parametri neurali. È una tesi con implicazioni filosofiche profonde. Se il pensiero umano è computazionalmente riducibile, cosa dice questo sulla natura della mente? Wolfram lascia la domanda aperta, senza risposta definitiva — il che è onesto.

Limiti e cosa manca

Una caratteristica che rende l'articolo eccezionale è l'onestà di Wolfram sui propri limiti. Non spiega perché emergano capability specifiche a certi livelli di scala — il fenomeno delle "emergent abilities" dove un modello sviluppa improvvisamente la capacità di fare ragionamento logico o aritmetica quando supera una certa dimensione. Non spiega come funziona esattamente il meccanismo di attenzione in un transformer moderno a livello matematico preciso — la spiegazione è accessibile ma semplifica. Non affronta il problema dell'allineamento: perché i modelli dicono cose false, come si fa a renderli più onesti, cosa succede quando gli obiettivi del modello divergono da quelli dell'utente.

Ma il contributo dell'articolo è diverso da una trattazione tecnica completa. Wolfram fa qualcosa di unico: demistifica il "come" senza banalizzarlo. Dopo aver letto l'articolo, il lettore non tecnico non pensa più all'LLM come a una scatola nera magica. Pensa a pesi neurali, token, distribuzioni di probabilità, spazi semantici — concetti che diventano intuibili anche senza background in machine learning. È il miglior punto di ingresso disponibile per chi vuole capire davvero cosa succede, non solo usare lo strumento. Karpathy ha scritto tutorial tecnici più precisi; Wolfram ha scritto qualcosa che può leggere chiunque sia disposto a dedicarci due ore.

---