Holden Karnofsky — Il Filantropo che ha Spinto Open Philanthropy nell'AI Safety

Chi è: Holden Karnofsky, co-fondatore nel 2007 di GiveWell con Elie Hassenfeld, poi co-CEO di Open Philanthropy fino al 2024. Open Philanthropy è il vettore filantropico principale di Dustin Moskovitz — co-fondatore di Facebook e Asana — e di sua moglie Cari Tuna. Karnofsky è la persona che, più di chiunque altro, ha trasformato l'AI safety da un tema marginale in un campo finanziato a centinaia di milioni di dollari l'anno. Nel 2024 ha lasciato il ruolo operativo per entrare in Anthropic come responsabile di un'area legata alla safety.

Dalla valutazione delle charity alla longtermism

Karnofsky inizia con un'idea semplice: la maggior parte della filantropia è inefficace perché nessuno misura davvero gli outcome. GiveWell, fondato a 26 anni, applica criteri quantitativi rigorosi alle charity globali — costo per vita salvata, evidenze randomizzate, trasparenza dei conti. Diventa rapidamente il riferimento del movimento effective altruism. La rottura concettuale arriva quando Karnofsky e Moskovitz si chiedono: e se i problemi più importanti non fossero quelli misurabili con RCT a breve termine, ma quelli che plasmano il lungo periodo?

Da quella domanda nasce nel 2017 Open Philanthropy come entità separata da GiveWell. La missione include "global catastrophic risks": pandemie, biosicurezza, e — sempre più centralmente — AI safety. Open Phil non è una piccola iniziativa: dal 2017 al 2024 distribuisce oltre $3 miliardi cumulativi, con il filone AI safety che cresce da poche milioni a oltre $100M annui.

Il portafoglio AI safety

Open Philanthropy è probabilmente il singolo finanziatore più importante della comunità AI safety pre-2024. Tra i grant maggiori: MIRI (Machine Intelligence Research Institute), CHAI (Center for Human-Compatible AI di Stuart Russell a Berkeley), Redwood Research, ARC (Alignment Research Center di Paul Christiano), e — fatto controverso — un investimento iniziale in OpenAI nel 2017 da $30M che ha posizionato Open Phil come early stakeholder dell'industria che pretendeva di rendere sicura.

Karnofsky difende quella scelta nel tempo: l'idea era avere "a seat at the table" nelle decisioni di governance di OpenAI quando la sicurezza fosse diventata centrale. Quella scommessa ha avuto esito ambiguo — il consiglio di OpenAI è stato riconfigurato nel 2023 dopo la crisi Altman e l'influenza safety-oriented si è diluita. Ma il modello "fund AND engage" è diventato lo standard per la filantropia AI safety.

Cold Takes e il framework PASTA

Cold Takes è il blog personale di Karnofsky, attivo dal 2021. È uno dei testi più influenti per chi vuole capire la cornice intellettuale dell'AI safety istituzionalizzata. La serie centrale è "The Most Important Century" — argomento: stiamo vivendo il secolo più importante della storia umana, perché probabilmente svilupperemo un'AI trasformativa che plasmerà l'intero futuro della civiltà.

Il concetto chiave è PASTA — "Process for Automating Scientific and Technological Advancement." Non è AGI nel senso classico (un agente con coscienza), è qualcosa di più operativo: un sistema capace di automatizzare la ricerca scientifica stessa, creando un loop di accelerazione tecnologica auto-sostenuto. Per Karnofsky, PASTA è la soglia che cambia tutto — perché una volta automatizzata la R&D, ogni altro problema diventa solubile più velocemente, inclusi i problemi pericolosi.

La collaborazione con Joe Carlsmith

Karnofsky lavora a stretto contatto con Joe Carlsmith, ricercatore senior in Open Phil che produce il report "Is Power-Seeking AI an Existential Risk?" (2021). Il report è uno degli sforzi più seri di scomporre il rischio AI in passi probabilistici espliciti: probabilità che si sviluppi un'AI agentica, probabilità che abbia obiettivi disallineati, probabilità che sia sufficientemente capace, e così via. Carlsmith stima un x-risk del 5% entro il 2070, poi aggiorna al 10% nel 2022.

L'approccio di Karnofsky e Carlsmith è caratteristico di Open Phil: mai certezze, sempre stime esplicite con intervalli, sempre il riconoscimento che potrebbero sbagliarsi di molto. Questo li distingue sia dai pessimisti Yudkowsky-style ("p-doom 99%") sia dagli ottimisti tech-acceleration. Il prezzo del rigore è che le loro posizioni sono difficili da sintetizzare in slogan — ed è per questo che la stampa generalista raramente li cita.

Il passaggio in Anthropic e le critiche

Nel 2024 Karnofsky lascia il ruolo di co-CEO di Open Philanthropy per entrare in Anthropic, dove assume una posizione legata alla safety policy. La mossa è coerente con la sua tesi del "most important century": se l'AI trasformativa arriva davvero nei prossimi 20 anni, ha più impatto lavorare dentro un laboratorio frontier che finanziando ricerca esterna. È anche, nota la stampa, controverso: Open Phil aveva finanziato Anthropic — un grant-maker che si sposta nell'organizzazione finanziata pone questioni di governance.

Le critiche all'orbita Open Phil sono note. La principale: aver centralizzato il finanziamento dell'AI safety in una singola istituzione legata a un singolo billionaire, creando un'omogeneità intellettuale che riflette le preferenze di chi paga. Altri critici — soprattutto dopo il caso FTX/SBF — contestano l'intera architettura morale dell'effective altruism. Karnofsky risponde di solito con saggi lunghi e auto-critici sul blog, raramente con rebuttal duri. È uno stile coerente con la sua identità intellettuale: probabilismo, dubbio, e disponibilità a essere smentito.

---