Salta al contenuto
AImpact
IT EN
← Percorsi
◦

Percorso

Data Scientist

Integra LLM nel tuo workflow: RAG, embedding, benchmark e fine-tuning.

Per data scientist che vogliono usare i modelli linguistici come componenti ingegneristici reali. Questo percorso traccia l'evoluzione delle architetture, dei benchmark e degli strumenti che contano: dalla valutazione dei modelli open-source alla costruzione di pipeline RAG produzione-ready.

  1. 01

    Perché conta per te

    Il paper di GPT-3 introduce il concetto di few-shot learning in-context: un benchmark fondamentale per capire le capacità di scaling e come valutare un modello senza fine-tuning.

    Pietra miliare Modelli foundation

    GPT-3: il paper che apre l'era delle scaling laws

    OpenAI pubblica 'Language Models are Few-Shot Learners' e mostra che con 175 miliardi di parametri un modello impara nuovi compiti da pochi esempi nel prompt.
  2. 02

    Perché conta per te

    Chinchilla ha riscritto le leggi di scaling: dimostrando che dati e parametri vanno bilanciati, ha cambiato come si progettano e comparano i modelli nei benchmark ufficiali.

    Pietra miliare Modelli foundation

    Chinchilla: i modelli grandi erano sotto-addestrati

    DeepMind pubblica il paper Chinchilla e dimostra che, a parità di compute, modelli più piccoli ma con molti più token di training battono modelli enormi sotto-addestrati.
  3. 03

    Perché conta per te

    LangChain ha reso accessibile la costruzione di pipeline RAG e agenti, diventando lo stack de facto per chi integra LLM in applicazioni data-intensive.

    Pietra miliare Agenti

    LangChain: nasce il framework per applicazioni LLM

    Harrison Chase rilascia LangChain, libreria Python open source per concatenare LLM con prompt template, memoria, tool e fonti dati esterne. Diventerà la stack di default delle prime app LLM.
  4. 04

    Perché conta per te

    LLaMA ha aperto l'accesso ai modelli fondazionali per la ricerca: fondamentale per chi vuole fare fine-tuning, benchmarking comparativo o deploy locale controllato.

    Alto Modelli open source

    LLaMA: Meta apre la porta dei modelli foundation alla ricerca

    Meta pubblica LLaMA in quattro taglie (7B, 13B, 33B, 65B) accessibili su richiesta a ricercatori. Una settimana dopo, i pesi finiscono in leak pubblico.
  5. 05

    Perché conta per te

    La context window da 1M token di Gemini 1.5 ha rivoluzionato l'approccio al RAG: riduce la necessità di chunking aggressivo e apre scenari di retrieval long-document.

    Alto Modelli foundation

    Gemini 1.5 Pro: 1 milione di token nel contesto

    Google annuncia Gemini 1.5 Pro: architettura Mixture of Experts, context window standard 128K ma 1M in preview. Nuovo benchmark: ricerca 'ago in pagliaio' in input lunghi quasi perfetta.
  6. 06

    Perché conta per te

    DeepSeek V2 ha dimostrato che l'architettura MoE può raggiungere performance top con frazione dei parametri attivi — rilevante per chi valuta costo/performance di modelli in produzione.

    Alto Modelli open source

    DeepSeek-V2: Multi-head Latent Attention e il primo MoE cinese open ad alta efficienza

    DeepSeek pubblica V2: MoE da 236B totali / 21B attivi con Multi-head Latent Attention (MLA), riduce drasticamente la KV cache e abbatte i prezzi API in Cina del 90%, innescando una guerra dei prezzi.
  7. 07

    Perché conta per te

    DeepSeek R1 ha mostrato che il reasoning avanzato può essere distillato in modelli open-weight: un risultato chiave per chi vuole benchmark riproducibili e fine-tuning su task ragionamento.

    Pietra miliare Modelli open source

    DeepSeek-R1: il reasoning open compete con o1 a 1/30 del costo

    Startup cinese DeepSeek rilascia R1, modello reasoning con pesi MIT open. Performance pari a OpenAI o1, prezzo API $0.55/$2.19 per 1M token (vs o1 $15/$60). Mercato Nasdaq AI perde $1T in due giorni.