MLX: Apple Research porta il machine learning nativo su Apple Silicon
In una frase Apple Research rilascia MLX, framework ML open source ottimizzato per M1/M2/M3: sfrutta la unified memory condivisa tra CPU e GPU per inference LLM con performance vicine a GPU dedicata.
I chip Apple Silicon (M1, M2, M3) hanno una caratteristica unica: CPU e GPU condividono la stessa memoria fisica. Questo significa che un modello AI caricato in RAM e' gia' disponibile per la GPU, senza costose copie di dati. MLX e' il framework che Apple Research ha costruito per sfruttare questa architettura al massimo.
Prima di MLX, per fare inferenza LLM su Mac si usava llama.cpp con backend Metal, che funzionava bene ma non era ottimizzato per la programmazione in Python. MLX porta la stessa efficienza in un'API che ricorda NumPy e PyTorch, rendendo facile scrivere e sperimentare nuovi modelli.
Il risultato e' che su un MacBook M2 Pro con 32 GB di RAM si possono girare modelli da 13B o 34B parametri a velocita' reali, senza GPU esterna e senza consumare energia in modo eccessivo.
Aziende
Apple Research
Tool
MLX
Tag
Fonti