Safe Superintelligence Inc — la scommessa radicale di Ilya Sutskever

Chi è: Ilya Sutskever, co-fondatore e ex Chief Scientist di OpenAI. Ha co-sviluppato AlexNet (2012), è stato centrale nel training di GPT-2, GPT-3, GPT-4. Nel novembre 2023 ha votato per rimuovere Sam Altman come CEO — poi ha cambiato posizione durante il weekend caotico che ha visto Altman reintegrato. A maggio 2024 ha lasciato OpenAI. A giugno 2024, con Daniel Gross e Daniel Levy, ha fondato Safe Superintelligence Inc.

La storia che precede SSI

Per capire SSI bisogna capire il novembre 2023 a OpenAI — uno degli episodi più strani nella storia recente della tecnologia. Il board di OpenAI — composto da membri non esecutivi con mandato esplicito di supervisionare lo sviluppo sicuro dell'AI — vota per rimuovere Sam Altman come CEO con un preavviso di ore. Le ragioni non vengono comunicate pubblicamente in modo chiaro. Altman viene notificato via videochiamata. Ilya Sutskever, come membro del board, vota per la rimozione.

Nelle 72 ore successive, quasi tutti i dipendenti di OpenAI firmano una lettera minacciando di lasciare se Altman non venisse reintegrato. Microsoft — principale investitore — offre ad Altman e Brockman di fondare una nuova divisione AI in Microsoft. Il board cede. Altman viene reintegrato. Il board viene ricostituito con nuovi membri. Sutskever, in un tweet, esprime "profondo rammarico" per aver partecipato alla rimozione.

Cosa è successo esattamente non è ancora del tutto chiaro pubblicamente. Ma la sequenza suggerisce una tensione profonda all'interno di OpenAI su quanto velocemente procedere verso sistemi più avanzati, e su chi dovesse avere l'ultima parola su quelle decisioni. Sutskever, che aveva dedicato anni al problema dell'alignment, aveva chiaramente concluso che qualcosa non andava nel percorso che OpenAI stava seguendo. Nelle settimane successive all'episodio, rimane silenzioso. A maggio 2024, annuncia l'uscita da OpenAI. A giugno 2024, SSI.

La mission di SSI

Il comunicato di fondazione di Safe Superintelligence Inc è notevole per la sua chiarezza. SSI ha un solo obiettivo: costruire la superintelligenza in modo sicuro. Non prodotti intermedi da vendere agli utenti. Non API commerciali per sviluppatori. Non chatbot consumer. Non valutazioni di sicurezza per altri. Solo ricerca su come costruire superintelligenza sicura.

La struttura organizzativa è deliberatamente progettata per eliminare la tensione tra pressioni commerciali a breve termine e obiettivi di safety a lungo termine. In un'organizzazione che deve generare revenue per sopravvivere, le decisioni di sicurezza entrano in conflitto con le decisioni di prodotto ogni settimana. Ritardare un lancio per motivi di sicurezza costa milioni. Aggiungere guardrail riduce le capacità che gli utenti paganti vogliono. SSI rimuove questa tensione: è finanziata da VC (primo round: $1 miliardo, lead investor a16z), non dipende da revenue di prodotto, può permettersi di non lanciare nulla fino a quando la ricerca è pronta.

I fondatori sono tre. Sutskever porta la credibilità tecnica nel deep learning — pochi ricercatori al mondo hanno la sua comprensione degli internals dei modelli fondazionali. Daniel Gross è un venture capitalist (ex partner a16z, ex fondatore di Cue che Apple ha acquisito) che porta la capacità di costruire un'organizzazione e raccogliere capitale. Daniel Levy è un ricercatore AI safety con background in interpretability. La combinazione è deliberata: ricerca tecnica di frontiera + capacità di organizzazione + safety come expertise primaria.

Cosa significa "sicura" per Sutskever

Sutskever non ha rilasciato molti dettagli tecnici pubblicamente su cosa SSI stia facendo o come stia approcciando il problema della safety. Ma dalla sua storia, dalle poche interviste post-SSI, e dai suoi scritti precedenti emerge un quadro ragionevolmente chiaro delle sue preoccupazioni specifiche.

La preoccupazione principale è per sistemi AI che sviluppino obiettivi che gli umani non approvano — non per malvagità, ma come conseguenza di processi di ottimizzazione su scala molto grande. Sutskever ha citato la necessità di capire cosa sta succedendo all'interno dei modelli — interpretability — come prerequisito per affermare con confidenza che un sistema è sicuro. Un sistema black-box che si comporta bene in testing potrebbe comportarsi molto diversamente in deployment a scala o in situazioni non anticipate.

Questo è più vicino alla tradizione Bostrom-Russell-Christiano — safety come problema tecnico di ingegneria su sistemi molto capaci — che al catastrofismo di Yudkowsky (superintelligenza come fine inevitabile dell'umanità in assenza di soluzioni perfette). Sutskever non sta predicendo la fine del mondo. Sta argomentando che costruire sistemi molto più capaci di GPT-4 senza capire come funzionano internamente e senza meccanismi di sicurezza robusti è imprudente — e che vale la pena dedicare una organizzazione intera a risolvere questo problema prima di deployare quei sistemi.

Il paradosso: costruire SSI per evitare che altri costruiscano SSI non sicura

C'è un paradosso strutturale nella logica di SSI — lo stesso paradosso che era al cuore della fondazione di OpenAI nel 2015. OpenAI era stata fondata con la logica che se la superintelligenza artificiale generale era inevitabile, era meglio che fosse sviluppata da un'organizzazione che si preoccupava della safety piuttosto che da attori con meno scrupoli. La stessa logica in forma più pura è alla base di SSI.

La critica più comune a questa logica: stai costruendo la cosa che dici essere pericolosa. Se la costruisci tu perché hai buone intenzioni, non stai riducendo il rischio — stai semplicemente essendo uno degli attori che la costruisce, con la consolazione di avere migliori intenzioni degli altri. E nel processo, stai contribuendo a dimostrare che è possibile — abbassando la barriera tecnica per chi viene dopo.

La risposta di Sutskever — non esplicitata in questi termini ma implicita nella sua storia — è che la domanda non è se la superintelligenza verrà costruita, ma come e da chi. Dato che la traiettoria del campo suggerisce che sistemi molto più capaci degli attuali verranno costruiti nei prossimi anni da multiple organizzazioni con miliardi di dollari di investimento, l'alternativa a SSI non è "nessuno costruisce la superintelligenza" — è "la costruiscono altri senza il focus specifico sulla safety che SSI ha."

Sutskever, a differenza di molti altri che usano questa logica, ha un argomento credibile: ha contribuito in modo centrale a costruire i modelli più avanzati esistenti. Ha visto dall'interno come funzionano — e ha deciso che qualcosa nel modo in cui OpenAI stava procedendo non andava abbastanza bene. Non è uno che non ha mai costruito nulla di avanzato che dice che bisogna stare attenti. È uno che ha costruito GPT-4 e ha deciso che il passo successivo richiedeva un approccio diverso.

Cosa ci dice sulla direzione del campo

La fondazione di SSI nel giugno 2024 — insieme ad altri segnali dello stesso periodo — dice qualcosa di importante sull'anno 2024 in AI: il dibattito sulla superintelligenza non è più solo accademico, speculativo, o confinato ai corridoi di MIRI e LessWrong. È diventato il focus di persone che hanno costruito i sistemi più avanzati del mondo, che scommettono risorse, carriere e reputazione sul fatto che siamo vicini a qualcosa di qualitativamente diverso da GPT-4.

Questo non significa che abbiano ragione. Le previsioni su timeline AGI/superintelligenza sono state costantemente sbagliate in entrambe le direzioni — sia troppo ottimistiche che troppo pessimistiche. Ma il fatto che qualcuno con la posizione tecnica di Sutskever abbia lasciato una delle organizzazioni di AI più importanti del mondo per dedicarsi esclusivamente a questo problema è un segnale che merita attenzione — indipendentemente da dove si posiziona sul continuum tra scettici e allarmisti.

SSI non ha ancora pubblicato ricerca. Non ha prodotti. Non ha annunci tecnici. Quello che ha è un team di ricercatori AI safety e machine learning di alta qualità, finanziamento sufficiente per anni di ricerca senza pressioni di revenue, e la credibilità tecnica del suo fondatore. Se e quando pubblicheranno risultati, sarà tra i contributi più attesi nel campo dell'alignment.

---