In pratica
Permette di avere modelli da centinaia di miliardi di parametri ma con il costo di inferenza di uno molto più piccolo. Mixtral, DeepSeek e GPT-4 lo usano. In pratica per chi usa l'API non cambia nulla, ma spiega rapporti qualità/prezzo sorprendenti.
Termini collegati
Visto in azione
20 voci che lo citano- AltoAlibaba lancia Qwen 3.5: modelli aperti da 7B a 235B MoE con contesto da 128K
- Pietra miliareMeta rilascia Llama 4.1: tre modelli MoE open source con finestra da 10 milioni di token
- Pietra miliareDeepSeek V4 Preview: 1.6T parametri, contesto 1M e open weight in due taglie
- AltoDeepSeek R2: la cinese rilancia il modello reasoning open-weight
- AltoLlama 4 Scout: 109B MoE multimodale con 10M di context e vision SOTA
- AltoQwen 3: Alibaba rilascia una famiglia open weight da 0.6B a 235B con thinking nativo
- AltoLlama 4: Meta passa a MoE e multimodale nativo, ma la community accoglie con freddezza
- MedioDeepSeek-V3-0324: l'update silenzioso che mette in difficoltà il vendor lock-in
- AltoDeepSeek-V3: qualità GPT-4o a $0.55/M token tramite MLA e pipeline FP8
- Pietra miliareDeepSeek-V3: la Cina rilascia un modello frontier open a costo basso scioccante
- AltoDeepSeek-Coder-V2: qualita GPT-4 Turbo su coding con pesi aperti
- AltoDeepSeek-V2: Multi-head Latent Attention e il primo MoE cinese open ad alta efficienza
- AltoMixtral 8x22B: il MoE Apache 2.0 di Mistral con 39B attivi
- MedioSnowflake Arctic: MoE 480B totale / 17B attivi, SOTA enterprise SQL
- MedioDBRX: il MoE open di Databricks da 132B totali e 36B attivi
- AltoGemini 1.5 Pro: 1 milione di token nel contesto
- Pietra miliareMixtral 8x7B: Mixture of Experts open source che batte GPT-3.5
- MedioGrok-1: il chatbot di xAI con accesso ai dati real-time di X
- MedioWu Dao 2.0: la Cina annuncia un modello da 1,75T parametri
- AltoSwitch Transformer: Google scala a 1,6T parametri con Mixture of Experts