Salta al contenuto
AImpact
IT EN

Articolo · Economia & Società

Epoch AI — Il Think Tank che Misura Quanto Velocemente Cresce il Compute AI

Fonte originale: Epoch AI · epochai.org — sintesi e rielaborazione in parole proprie.

CondividiLinkedInX

Cos'è: Epoch AI è un istituto di ricerca no-profit britannico fondato nel 2022 con sede legale a Oxford e team distribuito globalmente, dedicato alla misurazione quantitativa dei trend di compute, dati e prestazioni nei modelli AI di frontiera. Il loro database pubblico è la fonte primaria citata da OECD, IEA, governi e principali laboratori AI quando occorrono numeri verificati sulla traiettoria del settore.

L'origine: Jaime Sevilla e l'esigenza di numeri verificati

Epoch AI nasce nel 2022 dall'iniziativa di Jaime Sevilla, ricercatore spagnolo formato a Cambridge e all'Università di Aberdeen, che durante il dottorato in machine learning si rende conto che la letteratura accademica e industriale è piena di affermazioni quantitative sui trend AI — "il compute raddoppia ogni X mesi", "i modelli diventano N volte più capaci" — quasi sempre senza una base dati verificabile e replicabile. La scelta di Sevilla è di costruire l'infrastruttura mancante: un database pubblico, peer-reviewed, con metodologia documentata, che permetta a ricercatori, decisori politici e giornalisti di citare numeri verificati invece di stime aneddotiche.

L'organizzazione si struttura come no-profit con un team iniziale di sei persone e finanziamenti principali da Open Philanthropy, dal Future of Life Institute e da donatori individuali del movimento AI safety. Nel 2024 il team supera le venti persone tra ricercatori, data engineer e analisti policy, con uffici a Oxford, Londra e Berkeley. I report di Epoch sono open access, e il database è interrogabile via API gratuita. Il modello è esplicitamente quello dell'IPCC per il clima: produrre la base quantitativa condivisa su cui chiunque possa fondare argomenti, indipendentemente dalla posizione politica.

Il dato chiave: il compute dei modelli di frontiera raddoppia ogni 6 mesi

Il report più citato di Epoch AI è "Compute Trends Across Three Eras of Machine Learning", pubblicato in versione iniziale nel 2022 e aggiornato annualmente. Documenta che il compute usato per il training dei modelli AI di frontiera è cresciuto secondo tre regimi distinti. Dal 1952 al 2010 — era pre-deep learning — il compute raddoppia ogni 20 mesi, in linea con la legge di Moore. Dal 2010 al 2015 — emergenza del deep learning — raddoppia ogni 5-6 mesi. Dal 2015 in poi — era dei modelli su larga scala — raddoppia ogni 6 mesi per i modelli di frontiera, una velocità da 4 a 5 volte superiore a Moore.

I numeri assoluti rendono visibile la scala del fenomeno. AlexNet (2012) è stato addestrato con circa 4,7 × 10^17 FLOP. GPT-3 (2020) ne ha usati circa 3,1 × 10^23 — sei ordini di grandezza in più in otto anni. GPT-4, secondo le stime triangolate da Epoch, è stato addestrato con circa 2 × 10^25 FLOP, e i modelli di frontiera stimati per il 2025-2026 si avvicinano a 10^26-10^27 FLOP. Per riferimento, 10^26 FLOP è circa il numero di operazioni che 10.000 GPU H100 producono in 90 giorni di training continuo. Sotto questa traiettoria, il compute non è più un fattore di Moore-Law: è una corsa al capex industriale.

Il costo di training supera $1 miliardo per modello

Un secondo filone di ricerca di Epoch traccia il costo monetario del training. Lo studio "How Much Does It Cost to Train Frontier AI Models?" pubblicato nel 2024 stima che il costo di training di GPT-4 sia stato approssimativamente $78 milioni di compute hardware, Gemini Ultra circa $191 milioni. La proiezione di Epoch è che i modelli di frontiera del 2025-2026 supereranno la soglia del miliardo di dollari di costo di training, considerando solo l'hardware compute — senza includere salari, dati, infrastruttura, energia e ammortamento. Per il 2027-2028 alcuni scenari modellati superano i $10 miliardi per singolo training run.

Questo dato ha implicazioni strutturali pesanti. Se il costo di un training run supera $1 miliardo, il numero di organizzazioni al mondo capaci di permetterselo scende sotto la decina: OpenAI/Microsoft, Google, Anthropic, Meta, xAI, due o tre laboratori cinesi (DeepSeek, Alibaba, ByteDance) e forse una manciata di consorzi governativi. La diversificazione della ricerca di frontiera diminuisce, la concentrazione di potere computazionale aumenta. Epoch AI è uno dei pochi attori che documenta questa tendenza con metodologia trasparente, ed è per questo che le sue stime vengono citate testualmente nei documenti di policy della Commissione Europea, del NIST e della White House.

Il data wall: peak data tra il 2026 e il 2028

Il contributo più discusso di Epoch nel 2024 è il paper "Will We Run Out of Data?", che modella quantitativamente quando i modelli AI esauriranno la disponibilità di testo umano di alta qualità su cui addestrarsi. La stima è che lo stock totale di testo pubblico di alta qualità su internet sia nell'ordine di 300 trilioni di token, e che al ritmo di scaling attuale i modelli di frontiera lo avranno consumato interamente tra il 2026 e il 2028. Il "data wall" diventa quindi un vincolo strutturale al pari del compute: senza nuovi dati di qualità, lo scaling neurale puro perde efficacia.

Le risposte possibili sono tre, secondo Epoch. Primo: dati sintetici generati dagli stessi modelli, con il rischio di "model collapse" se la qualità sintetica diverge da quella umana. Secondo: dati multimodali (video, audio, sensoristica industriale) che hanno volumi molto più grandi del testo ma sono meno informativi per token. Terzo: dati proprietari acquisiti tramite contratti — Reddit, Stack Overflow, archivi giornalistici, dati medici — che spostano il vantaggio competitivo dai migliori algoritmi ai migliori dealmaker. La scelta tra queste strade definirà il prossimo decennio dell'AI, e il lavoro di Epoch è il riferimento quantitativo su cui questa scelta viene argomentata.


Link alla fonte originale

Epoch AI · epochai.org →

Sito ufficiale Epoch AI. Database pubblico interrogabile, paper completi in open access, dashboard interattive sui trend di compute, costo e capability. Le pubblicazioni principali sono "Compute Trends Across Three Eras of Machine Learning", "Training Compute of Notable AI Models" e "Will We Run Out of Data?".