Addio GPU? MatX promette un chip 10 volte più efficace di NVIDIA sugli LLM

Una nuova startup nel settore dei semiconduttori per l'intelligenza artificiale punta a ritagliarsi spazio in un mercato oggi dominato da NVIDIA. Si tratta di MatX, fondata nel 2023 da Reiner Pope e Mike Gunter, entrambi con un passato nello sviluppo delle TPU di Google.

La società ha annunciato la chiusura di un round Series B da 500 milioni di dollari, guidato da Jane Street e dal fondo Situational Awareness LP, creato dall'ex ricercatore OpenAI Leopold Aschenbrenner. Tra gli investitori figurano anche Spark Capital, Marvell Technology, Alchip Technologies, Triatomic Capital, oltre ai cofondatori di Stripe Patrick e John Collison e al fondo di Daniel Gross e Nat Friedman.

Il team di MatX - Clicca per ingrandire

L'operazione arriva a oltre un anno dalla Series A da circa 100 milioni di dollari, che nel 2024 aveva valutato la società oltre 300 milioni. Sebbene non sia stata comunicata una nuova valutazione, il finanziamento colloca MatX tra le realtà emergenti più capitalizzate nel segmento dei chip AI focalizzati su workload specifici.

Il primo prodotto annunciato è MatX One, un acceleratore progettato esclusivamente per large language models (LLM). La strategia dell'azienda è chiara: rinunciare a versatilità e compatibilità general-purpose per massimizzare le prestazioni su training, reinforcement learning e inferenza di modelli di grandi dimensioni, inclusi quelli di tipo Mixture-of-Experts (MoE).

Il chip si basa su una "splittable systolic array", un'evoluzione delle tradizionali architetture systolic note per l'elevata efficienza energetica e per unità di superficie. L'approccio adottato mira a mantenere alta l'utilizzazione anche con matrici di dimensioni e forme variabili, caratteristica rilevante nei moderni LLM.

Dal punto di vista della memoria, MatX combina un design "SRAM-first" - con i pesi tipicamente residenti in SRAM per ridurre la latenza - con l'uso di HBM per gestire le key-value cache e supportare contesti molto estesi. L'azienda dichiara un throughput superiore a qualsiasi prodotto annunciato e latenze paragonabili ai migliori design SRAM-first, con oltre 2000 token al secondo in output su grandi modelli MoE a 100 layer.

MatX sostiene che il proprio chip offra il più alto valore di FLOPS per millimetro quadrato tra le soluzioni annunciate, con particolare attenzione alle fasi di training e prefill (orientate al throughput) e a quelle di decode e reinforcement learning (dove la latenza diventa cruciale).

Un altro elemento centrale è l'interconnessione: la società promette capacità di scale-up e scale-out tali da supportare cluster composti da centinaia di migliaia di chip, un requisito sempre più rilevante per i laboratori che sviluppano modelli di frontiera.

Il nuovo capitale sarà utilizzato per completare lo sviluppo del chip e avviare la produzione presso TSMC. L'azienda prevede il tape-out entro meno di un anno e l'inizio delle spedizioni nel 2027.

Con un team di circa 100 persone e un posizionamento estremamente focalizzato sugli LLM di grandi dimensioni, MatX si inserisce in un panorama sempre più affollato di alternative specializzate alle GPU tradizionali. Resta da verificare se l'approccio radicale riuscirà a tradursi in vantaggi competitivi concreti rispetto alle piattaforme già consolidate sul mercato.