470 petaFLOPS con una frequenza di 56 GHz: il processore fotonico per l'IA

Il rallentamento della Legge di Moore e l'aumento dei consumi necessari per ottenere incrementi prestazionali hanno spinto alcuni progettisti verso architetture alternative. È il caso di Neurophos, startup di Austin che lavora su un acceleratore AI basato su calcolo ottico analogico, la quale ha già raccolto grande interesse nel settore.

L'azienda è al lavoro su una Optical Processing Unit (OPU) capace, almeno sulla carta, di offrire una capacità di calcolo pari a 470 petaOPS in FP4 e INT4, un valore che supera di circa dieci volte quello delle GPU Nvidia Rubin, mantenendo però un assorbimento energetico simile. Il risultato deriva dall'impiego di modulatori ottici metamateriali su scala micrometrica, definiti come veri e propri "transistor fotonici".

"L'equivalente del transistor ottico che si ottiene oggi dalle fabbriche di fotonica al silicio è enorme. È lungo circa 2 mm. Non è possibile inserirne abbastanza su un chip per ottenere una densità di calcolo che possa competere anche solo lontanamente con quella dei CMOS digitali odierni" ha spiegato il CEO dell'azienda Patrick Bowen a The Register.

Bowen sostiene che i transistor ottici di Neurophos sono circa 10.000 volte più piccoli e che il primo prototipo è già stato realizzato a maggio. Attraverso questi transistor, Neurophos sarebbe in grado di sviluppare un tensor core ottico unico dalle dimensioni di 1.000x1.000 (elementi di elaborazione). Il tutto, peraltro, compatibile con gli attuali processi CMOS, quindi realizzabile all'interno delle fonderie già esistenti.

Il tensor core opererebbe a una frequenza di circa 56 GHz e consumerebbe energia quasi esclusivamente per le conversioni opto-elettriche tra dominio digitale e analogico. Per evitare colli di bottiglia nei dati, il chip integrerà numerose unità vettoriali e grandi quantità di SRAM.

Il primo acceleratore, nome in codice Tulkas T100, dovrebbe adottare un design dual reticle e includere 768 GB di memoria HBM, con un consumo stimato compreso tra 1 e 2 kW sotto carico. La produzione è prevista non prima della metà del 2028, con volumi limitati a poche migliaia di unità.

A tal proposito, infatti, va chiarito che più che specifiche, i numeri condivisi da Bowen sono limiti teorici. In sintesi, la tecnologia sviluppata da Neurophos può potenzialmente raggiungere quelle prestazioni, ma non è detto che il prodotto finito le realizzi concretamente.

Inoltre, quantomeno in una prima fase, la OPU sarà destinata alla fase di prefill dell'inferenza LLM. Per chi non lo sapesse, l'inferenza LLM può essere divisa in due fasi: nella prima vengono analizzati ed elaborati i token di input (prefill), nella seconda vengono generati i token di output. Queste due fasi possono essere affidate a sistemi diversi, esattamente come ha fatto NVIDIA con Rubin CPX.

Per tale ragione, Bowen immagina configurazioni ibride in cui i rack di Tulkas T100 sono affiancati da rack come l'NVL576 di NVIDIA. La strada, però, è ancora lunga e per il momento l'azienda si sta concentrando sullo sviluppo di un proof-of-concept per validare densità di calcolo e consumi del chip.

A guidare l'investimento – 100 milioni di dollari – nella startup è stato Bill Gates con la Gates Frontier e la partecipazione del fondo di venture capital di Microsoft.