Percorso
Ricercatore & Accademico AI
Paper fondazionali, architetture, scaling laws, reasoning e Nobel: il filo scientifico.
Sei un ricercatore, dottorando o accademico che vuole ricostruire la traiettoria scientifica dell'AI moderna attraverso i contributi che hanno spostato il confine. Questo percorso collega i paper fondazionali sulle architetture e lo scaling con i breakthrough sul reasoning e i riconoscimenti istituzionali che hanno segnato la legittimazione scientifica del campo.
- 01
Perché conta per te
Il paper di riferimento per il few-shot learning in-context: dimostra per la prima volta che lo scaling dei parametri produce capacità emergenti non previste dai task di training.
Pietra miliare Modelli foundationGPT-3: il paper che apre l'era delle scaling laws
OpenAI pubblica 'Language Models are Few-Shot Learners' e mostra che con 175 miliardi di parametri un modello impara nuovi compiti da pochi esempi nel prompt.
- 02
Perché conta per te
Il report Stanford che ha codificato il concetto di foundation model come paradigma unificante: imprescindibile per inquadrare il dibattito teorico sulle capacità generaliste dei modelli.
Alto Modelli foundationOn the Opportunities and Risks of Foundation Models: Stanford conia il termine
Il Center for Research on Foundation Models di Stanford pubblica un report di 200+ pagine coniando il termine foundation models, oggi standard nel discorso tecnico, accademico e regolatorio.
- 03
Perché conta per te
Le leggi di Chinchilla ridefiniscono il rapporto ottimale tra parametri e token di training: uno dei risultati empirici più citati dell'era moderna, corregge le intuizioni di Kaplan et al.
Pietra miliare Modelli foundationChinchilla: i modelli grandi erano sotto-addestrati
DeepMind pubblica il paper Chinchilla e dimostra che, a parità di compute, modelli più piccoli ma con molti più token di training battono modelli enormi sotto-addestrati.
- 04
Perché conta per te
Constitutional AI introduce l'allineamento mediante principi espliciti e self-critique: un contributo metodologico fondamentale al dibattito su RLHF e sicurezza dei modelli.
Medio Sicurezza AIConstitutional AI: il modello si autocorregge senza umani nel loop
Anthropic pubblica il metodo Constitutional AI: invece di RLHF puro, il modello critica e revisiona le proprie risposte seguendo una 'costituzione' scritta. Meno annotazione umana, più trasparenza.
- 05
Perché conta per te
o1 porta il chain-of-thought esteso a runtime come strategia di reasoning: il risultato empirico che ha riaperto il dibattito accademico sulla separazione tra System 1 e System 2 nell'AI.
Pietra miliare Modelli foundationo1: il primo modello che 'pensa prima di rispondere'
OpenAI rilascia o1-preview e o1-mini: modelli addestrati con RL su catene di ragionamento. Su matematica, fisica, coding competitivo battono GPT-4o di un margine enorme. Salto di paradigma.
- 06
Perché conta per te
S1 dimostra che il compute a test-time può essere controllato con un budget esplicito: un risultato riproducibile che apre domande metodologiche sui benchmark di reasoning.
Alto Modelli foundations1: 1000 esempi e un trucco di prompt per replicare un reasoning model
Paper Stanford/UW: con 1000 esempi curati e una tecnica chiamata 'budget forcing' fanno fine-tune di Qwen2.5-32B fino a competere con o1-preview su matematica. Costo training: <$50.
- 07
Perché conta per te
Il Nobel a Hinton per le reti neurali artificiali sancisce la legittimazione istituzionale del deep learning: un momento di riflessione sulla storia disciplinare del campo.
Pietra miliare Modelli foundationNobel per la Fisica 2024 a Hopfield e Hinton per le reti neurali artificiali
L'Accademia Reale Svedese assegna il Nobel per la Fisica 2024 a John Hopfield e Geoffrey Hinton per i loro lavori fondazionali sulle reti neurali artificiali, riconoscendo formalmente l'AI come disciplina.