Tenstorrent — Jim Keller e l'Alternativa Open Source a CUDA

Cos'è: Tenstorrent è una società di semiconduttori canadese-americana fondata nel 2016 a Toronto e oggi guidata da Jim Keller, uno degli architetti di chip più rispettati della storia recente. La proposta tecnica di Tenstorrent è radicale: costruire acceleratori AI basati sull'ISA aperta RISC-V e distribuire l'intero stack software in open source, posizionandosi come l'alternativa filosofica al modello chiuso CUDA-NVIDIA. La Serie D di 700 milioni di dollari nel dicembre 2024 ha portato la valutazione a 2,6 miliardi e clienti come Hyundai, Bosch e LG hanno cominciato a integrare i chip in produzione.

Jim Keller, l'architetto delle architetture vincenti

Jim Keller è probabilmente il più conosciuto architetto di chip in attività. La sua carriera coincide con quasi tutte le architetture di processore commercialmente rilevanti degli ultimi vent'anni. Ha lavorato in DEC sui processori Alpha, è poi passato in AMD dove ha guidato il design del K7 (Athlon) e del K8 (Opteron). Trasferito in Apple, ha guidato il design dell'A4 e dell'A5 — i primi chip ARM in casa Apple che hanno reso possibile l'iPhone moderno. Tornato in AMD nel 2012, ha guidato l'architettura Zen che ha permesso ad AMD di tornare competitiva con Intel dopo un decennio di marginalità. Successivamente è stato in Tesla dove ha guidato il design del primo chip Full Self-Driving, e poi in Intel come Senior Vice President della divisione Silicon Engineering. Nel 2020 è diventato CTO di Tenstorrent, e nel gennaio 2023 ne è diventato CEO.

La presenza di Keller alla guida di Tenstorrent è la singola variabile più importante per capire perché l'azienda riceva attenzione da clienti enterprise e da investitori strategici nonostante la scala ridotta. Quando un architetto del suo calibro sceglie un'azienda come prossima sfida, il segnale al mercato è che la traiettoria tecnica è promettente. La tesi tecnica di Keller per Tenstorrent è triplice. Primo, l'ISA aperta è strutturalmente più innovativa di un'ISA proprietaria: RISC-V permette di personalizzare il set di istruzioni per i workload AI senza dipendere da scelte di terzi, e di costruire un ecosistema collaborativo di toolchain. Secondo, il software stack open è una condizione necessaria per battere CUDA nel medio periodo: i developer non accetteranno mai di passare da un ecosistema closed a un altro, l'alternativa deve essere genuinamente aperta. Terzo, la separazione tra compute and memory deve essere ripensata: i chip Tenstorrent hanno un'architettura a tile programmabili che permette di muovere dati senza i bottleneck classici delle GPU.

L'eredità di Keller fa sì che Tenstorrent attragga ingegneri senior che altrimenti non lavorerebbero per una scaleup di chip. Negli anni successivi alla sua nomina, l'azienda ha assunto veterani di AMD, Intel, NVIDIA, Apple e ARM. La sede principale è a Toronto, con uffici a Austin, Tel Aviv, Tokyo, Bangalore e Belgrado.

Wormhole, Blackhole e il bet su RISC-V open

La famiglia di prodotti Tenstorrent è organizzata in due generazioni commercialmente disponibili. La prima è Wormhole, presentata nel 2024 e disponibile sia come scheda PCIe standalone (Wormhole n150 e n300) sia in configurazioni server multi-chip per training distribuito. Wormhole è prodotta a 12nm di GlobalFoundries, offre una bandwidth di interconnect proprietaria che permette di scalare orizzontalmente, e ha un TDP di 160-300 watt a seconda della configurazione. È pensata principalmente per inference e training di modelli di dimensione media.

La seconda generazione è Blackhole, annunciata a fine 2024 con disponibilità commerciale nel 2025. Blackhole è prodotta a 6nm di Samsung Foundry, integra 752 core RISC-V programmabili (di cui 16 dedicati al sistema operativo del chip), 32 GB di GDDR6 onboard, e offre 745 TFLOPS in FP8. La differenza qualitativa con la concorrenza è che ogni core del chip è un processore RISC-V completo che esegue codice C/C++ direttamente, senza un'astrazione driver opaca come quella di NVIDIA. Questo permette agli sviluppatori di scrivere kernel custom in linguaggio standard e di vedere esattamente cosa sta facendo l'hardware in ogni momento — un livello di trasparenza che CUDA non offre.

Il software stack è chiamato TT-Buda e TT-Metalium, ed è interamente open source su GitHub. TT-Buda è l'equivalente alto livello di PyTorch/TensorFlow integration: prende un modello scritto in framework standard, lo compila per il chip Tenstorrent e lo esegue. TT-Metalium è il layer più basso, equivalente a CUDA per NVIDIA, e offre API C++ per scrivere kernel personalizzati. La scommessa di Tenstorrent è che la community open-source contribuirà miglioramenti al toolchain in modo analogo a quello che è successo con LLVM, Linux kernel e Kubernetes — un percorso lento ma potenzialmente irreversibile.

$700M Serie D, $2,6B di valutazione e i clienti enterprise

Il dicembre 2024 Tenstorrent ha annunciato una Serie D da 700 milioni di dollari a valutazione 2,6 miliardi, lead investor Samsung Securities e AFW Partners, con partecipazione di Bezos Expeditions (il family office di Jeff Bezos), Fidelity, Hyundai Motor Group, Baillie Gifford e LG. Il round è di grande rilievo simbolico: con la partecipazione di Samsung, Hyundai e LG, l'azienda ha agganciato l'industria coreana e l'ecosistema chaebol come potenziali clienti seriali. Il funding totale di Tenstorrent supera ormai il miliardo di dollari cumulativo.

I clienti annunciati pubblicamente includono Hyundai Motor Group (che integrerà chip Tenstorrent nei futuri sistemi di guida autonoma di prossima generazione, in alternativa o complemento ai chip NVIDIA Drive), Bosch (per applicazioni di edge AI in ambito industriale e automotive), e LG Electronics (per electrodomestici intelligenti e signage AI). Il pattern è interessante: i clienti di Tenstorrent in questa fase non sono gli hyperscaler USA (Amazon, Google, Microsoft), che hanno standardizzato su NVIDIA o costruito chip propri (Trainium, TPU). Sono invece OEM industriali e automotive, asiatici e europei, che cercano di evitare il vendor lock-in di NVIDIA per ragioni di costo, di geopolitica o di indipendenza tecnologica.

Tenstorrent vende sia chip standalone che IP licensing — l'azienda offre cioè la possibilità di integrare i propri core RISC-V personalizzati in chip custom dei clienti. Il modello di business misto è simile a quello di ARM: ricavi da prodotti diretti più royalty su volumi di chip che integrano l'IP. È un percorso che ha senso strategico ma richiede capital pazienza, dato che i cicli di design di chip automotive o consumer durano dai tre ai cinque anni.

Scale matters: la sfida di sopravvivere al consolidamento

Il problema strategico principale di Tenstorrent — condiviso con tutti gli altri challenger di NVIDIA — è la scala. NVIDIA fattura oltre 100 miliardi di dollari all'anno, vende milioni di GPU per training e inference, e dispone di capacità produttiva di TSMC che nessun altro produttore di chip AI può eguagliare. Tenstorrent, anche con un funding di un miliardo cumulativo, opera a un ordine di grandezza inferiore in tutte queste dimensioni. Il numero di chip Wormhole e Blackhole spediti nel 2024 è nell'ordine delle decine di migliaia, contro le milioni di GPU NVIDIA.

Per restare rilevante, Tenstorrent deve fare leva su tre vantaggi strutturali. Il primo è il pricing trasparente e aggressivo: i chip Tenstorrent costano dai 999 ai 5.000 dollari per scheda PCIe — un ordine di grandezza meno di una H100 al prezzo di mercato — e permettono ai clienti di costruire sistemi di inference a costi competitivi su workload selezionati. Il secondo è la programmazione diretta: per clienti che hanno bisogno di workload custom non gestibili facilmente dal driver CUDA proprietario, il modello RISC-V open permette di ottenere performance ottimali con meno frizione. Il terzo è l'indipendenza geopolitica: in un'epoca in cui le restrizioni statunitensi su export di GPU NVIDIA verso Cina e altri paesi diventano sempre più stringenti, un'alternativa basata su IP più diversificata diventa attraente per i compratori non allineati con la Silicon Valley.

Lo scenario di medio termine si gioca sulla capacità di Tenstorrent di costruire un ecosistema di developer attorno a TT-Metalium e a RISC-V abbastanza ampio da innescare un effetto network. Il precedente storico più rilevante è quello del passaggio da Unix proprietario a Linux: ha richiesto vent'anni, ma alla fine ha capovolto un mercato che sembrava chiuso. Se Tenstorrent (e altri attori RISC-V come SiFive e Esperanto) riusciranno a costruire un'alleanza tecnica e di mercato analoga, lo scenario AI hardware a fine decennio potrebbe assomigliare molto poco a quello del 2024. Resta uno dei pochi bet credibili contro lo strapotere NVIDIA, ed è una scommessa che merita di essere osservata.

---