Mixtral 8x22B: il MoE Apache 2.0 di Mistral con 39B attivi
In una frase Il 17 aprile 2024 Mistral presenta ufficialmente Mixtral 8x22B, MoE sparso da 141B parametri totali e 39B attivi per token, contesto da 64k, function calling nativo e licenza Apache 2.0, insieme alla versione Instruct.
Mistral pubblica i pesi di un modello molto grande con una licenza completamente libera (Apache 2.0): chiunque può scaricarlo, modificarlo e usarlo in prodotti commerciali.
È un "mixture of experts": per ogni token il modello attiva solo 2 degli 8 esperti, quindi usa 39 miliardi di parametri sui 141 totali. Così costa meno da far girare di un modello denso della stessa taglia.
Parla fluentemente inglese, francese, italiano, tedesco e spagnolo e supporta nativamente il function calling. Nelle stesse lingue europee Mistral lo dichiara nettamente superiore a Llama 2 70B su HellaSwag, ARC Challenge e MMLU.
Aziende
Mistral AI
Tool
Mixtral 8x22B
Tag
Fonti