Andromeda, il supercomputer di Cerebras con 13,5 milioni di core votati all'intelligenza artificiale

Tra i progetti senza dubbio più affascinanti nel settore hardware c'è il Wafer Scale Engine (WSE) di Cerebras Systems, un chip che nella sua forma attuale - è giunto alla seconda generazione - mette a disposizione 850.000 core e un totale di 2.600 miliardi di transistor su un'area di 46225 mm2. Destinato al settore dell'intelligenza artificiale, questo enorme processore è il cuore di un supercomputer con 13,5 milioni di core chiamato Andromeda.

Il sistema, realizzato da Cerebras e pronto per l'uso commerciale e accademico, è basato su un cluster di 16 sistemi Cerebras CS-2 e si affida alle tecnologie proprietarie MemoryX e SwarmX per offrire una potenza di calcolo di oltre 1 exaflop/s con calcoli FP16 e 120 petaflop/s con calcoli "dense FP16".

Presentando Andromeda, Cerebras ha dichiarato che si tratta dell'unico "supercomputer AI" ad aver mai dimostrato uno scaling lineare quasi perfetto su grandi modelli di elaborazione del linguaggio come GPT-3, GPT-J e GPT-NeoX affidandosi semplicemente al parallelismo dei dati. Con "scaling lineare" s'intende che aggiungendo sistemi CS-2 al computo, il tempo di addestramento dell'IA si riduce proporzionalmente in modo quasi perfetto.

"Ciò include modelli di elaborazione del linguaggio di grandi dimensioni con lunghezze di sequenze molto grandi, un'attività che è impossibile da eseguire sulle GPU", ha dichiarato Cerebras Systems. A corroborare le affermazioni della società, uno dei primi utenti di Andromeda, capace di raggiungere uno scaling quasi perfetto su GPT-J con 2,5 miliardi e 25 miliardi di parametri con lunghezze di sequenza lunghe (Maximum Sequence Length di 10240).

"Gli utenti hanno tentato di eseguire lo stesso lavoro su Polaris, un cluster composto da 2000 Nvidia A100, e le GPU non sono state in grado di svolgere il lavoro a causa della memoria della GPU e dei limiti di bandwidth".

Con oltre 13,5 milioni di core ottimizzati per l'IA, alimentati da 18176 core AMD EPYC di 3a generazione (284 CPU da 64 core), il supercomputer Andromeda offre più core di 1953 GPU NVIDIA A100 e il 60% dei core in più rispetto al Frontier, il supercomputer più potente del mondo con 8,7 milioni di core. Quest'ultimo tocca 1,1 exaflop/s, ma con calcoli a doppia precisione FP64, laddove Adromeda può gestire solo FP16 e FP32.

Il CEO di Cerebras, Andrew Feldman, non ne ha fatto mistero, sottolineando a The Register che il Frontier è un supercomputer più duttile e potente in un'ampia gamma di carichi. "Per lavori di supercalcolo tradizionali e grandi simulazioni è un sistema migliore", ha spiegato il dirigente, in passato al vertice di SeaMicro, realtà acquisita nel 2012 da AMD.

Feldman, tuttavia, ritiene che il confronto numerico in termini di core sia importante. "I nostri core sono più piccoli e ottimizzati per l'IA. Non hanno capacità di calcolo a doppia precisione a 64 bit, ma per l'IA non hanno eguali. E averne 13 milioni e mezzo è davvero forte. E farli comportare come una singola macchina su un singolo problema, e accedervi tramite poche righe su Jupyter Notebook è straordinario", ha aggiunto.

Cerebras sottolinea come l'assemblaggio dei 16 cluster CS-2 e il loro funzionamento abbia richiesto solo 3 giorni e nessun cambiamento al codice, con risultati immediati. Il supercomputer è installato a Santa Clara, in California.