Rischio di estinzione da AI — il manifesto del Center for AI Safety

Chi è: Il Center for AI Safety (CAIS) è un'organizzazione non profit fondata da Dan Hendrycks, ricercatore di machine learning safety. La dichiarazione è composta da una singola frase: "Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war." Pubblicata il 30 maggio 2023 con centinaia di firme di ricercatori AI di primo piano.

La frase

"Mitigare il rischio di estinzione causato dall'AI dovrebbe essere una priorità globale, alla pari di altri rischi su scala societale come le pandemie e la guerra nucleare." Una sola frase. Firmata da: Geoffrey Hinton (ex Google, Nobel per la fisica 2024), Yoshua Bengio (Università di Montreal, Nobel per la fisica 2024), Sam Altman (CEO OpenAI), Demis Hassabis (CEO DeepMind), Ilya Sutskever (co-fondatore OpenAI), Shane Legg (co-fondatore DeepMind), oltre 100 ricercatori AI tra accademici e industriali.

Questa non è una lettera di richieste come quella FLI — non chiede una pausa, non propone policy specifiche. È una dichiarazione di credenza collettiva: noi, persone che lavorano su questa tecnologia, riteniamo che il rischio di estinzione sia reale e abbastanza serio da essere trattato nella stessa categoria dei rischi esistenziali noti dell'umanità. Il formato minimalista è una scelta deliberata: una sola frase è difficile da decontestualizzare, facile da citare, impossibile da interpretare in modi diversi. La brevità è una strategia comunicativa.

Il peso dei firmatari

La cosa insolita — e storicamente significativa — è la combinazione di firmatari. Hinton e Bengio sono i "padri fondatori" del deep learning moderno, i ricercatori che negli anni 2010 hanno dimostrato che le reti neurali profonde funzionano su scala. Sono stati premiati con il Nobel per la fisica nel 2024 proprio per questo lavoro. Quando firmano un documento che dice "il rischio di estinzione è reale", non lo fanno come attivisti ignari della tecnologia — lo fanno come le persone più responsabili di aver creato questa tecnologia.

Altman e Hassabis sono invece i CEO dei due laboratori AI più avanzati al mondo — concorrenti commerciali diretti. Persone che competono per i talenti, per il mercato, per la narrativa pubblica, concordano su almeno questo: il rischio di estinzione è abbastanza plausibile da essere trattato come priorità globale. Non è un accordo su come gestirlo — solo su quanto sia serio. Questo tipo di convergenza tra attori con interessi diversi è raro e ha un peso specifico nella conversazione politica. Un senatore americano o un ministro europeo può dire: se anche chi costruisce questi sistemi dice che sono potenzialmente pericolosi, dobbiamo prendere la cosa sul serio.

"Rischio di estinzione" — cosa significa

La dichiarazione è volutamente vaga sul meccanismo del rischio. Non specifica come l'AI potrebbe causare l'estinzione umana. I possibili scenari discussi nella letteratura AI safety includono: perdita di controllo su sistemi superintelligenti che perseguono obiettivi non allineati con quelli umani (lo scenario "paperclip maximizer" di Nick Bostrom); misuso deliberato da parte di attori malevoli per creare armi biologiche, chimiche o informatiche di scala senza precedenti; concentrazione di potere in mani di un singolo stato o organizzazione grazie a un vantaggio AI decisivo; guerra AI tra potenze nucleari accelerata da sistemi autonomi.

Il punto della vaghezza non è evasività intellettuale: è strategia di coalizione. Per ottenere la firma sia di Bengio (preoccupato principalmente dalla superintelligenza a lungo termine) che di Altman (che pubblicamente minimizza i rischi a breve termine) bisognava trovare una formulazione su cui entrambi potessero concordare onestamente. "Il rischio di estinzione è una priorità" è vera per Bengio se pensa a 50 anni e vera per Altman se pensa a scenari di misuso a 10 anni. Una formulazione più specifica avrebbe diviso i firmatari. La vaghezza è la condizione di possibilità del consenso.

Le critiche

Le critiche alla dichiarazione CAIS sono state numerose e provengono da direzioni diverse. Ricercatori come Timnit Gebru e Emily Bender hanno criticato con forza: amplificare scenari di estinzione "distrae dai rischi AI attuali e concreti" — bias nei sistemi di riconoscimento facciale, discriminazione algoritmica nell'accesso al credito, sorveglianza di massa, impatto lavorativo, uso militare dell'AI oggi. Il framing "rischio esistenziale futuro" permette alle aziende AI di evitare accountability per danni presenti e reali.

Altri hanno sollevato il problema della credibilità degli interessi: è irresponsabile per persone con enorme potere mediatico amplificare scenari di fantascienza che potrebbero giustificare sia regolamentazione ridotta ("lasciamo che i bravi ragazzi lo gestiscano") sia regolamentazione sproporzionata. C'è anche la critica del self-importance: i firmatari beneficiano professionalmente e finanziariamente di un campo che percepisce se stesso come esistenzialmente importante per l'umanità. La risposta standard del CAIS è che riconoscere i rischi attuali e i rischi futuri non è mutuamente esclusivo — anzi, la stessa infrastruttura di governance serve per entrambi.

Il contesto di maggio 2023

La dichiarazione esce in un momento di densità storica eccezionale. Due mesi prima, la lettera FLI aveva chiesto la pausa di 6 mesi. A maggio 2023, Geoffrey Hinton aveva appena lasciato Google dichiarando pubblicamente di farlo in parte per poter parlare liberamente dei rischi AI. L'estate 2023 è il momento di massima attenzione pubblica — e politica — ai rischi dell'AI. La dichiarazione CAIS arriva esattamente al momento giusto per consolidare il tema nella conversazione politica globale, trasformando le preoccupazioni individuali in una posizione collettiva identificabile.

A ottobre 2023, il Summit di Bletchley Park convocato dal governo britannico ha come tema principale la AI safety, e in particolare i rischi frontier. La dichiarazione CAIS è uno dei documenti citati come punto di riferimento dai diplomatici che hanno negoziato la "Bletchley Declaration" — firmata da 28 paesi tra cui USA, Cina, UE. Il percorso che va dalla lettera FLI (marzo) alla dichiarazione CAIS (maggio) al Summit di Bletchley (novembre) è la traiettoria in cui la AI safety è passata da preoccupazione di una nicchia di ricercatori a agenda diplomatica internazionale nel giro di otto mesi.

---