Colossus, il supercomputer da 100.000 GPU di xAI mostrato al mondo

ServeTheHome ha avuto l'opportunità di vedere da vicino Colossus, il supercomputer con il quale xAI, società di Elon Musk, vuole rivoluzionare il settore dell'intelligenza artificiale e ottenere un vantaggio sulla concorrenza. A ServeTheHome è stato anche detto che attualmente Colossus sta addestrando i modelli di IA "del futuro", quindi superiori a Grok 3 e simili.

Il sistema è ubicato a Memphis ed è basato su server Supermicro con un totale di 100.000 GPU NVIDIA. Operativo da quasi due mesi, dopo un assemblaggio durato 122 giorni, Colossus è - secondo NVIDIA - il più grande supercomputer di IA al mondo.

Come si può vedere nel filmato, i server sono NVIDIA HGX H100, ognuno equipaggiato con 8 acceleratori H100. La piattaforma HGX H100 è stipata in un sistema 4U Universal GPU di Supermicro, che offre un raffreddamento a liquido sostituibile a caldo per ogni GPU.

I server si trovano all'interno di rack con otto server ciascuno, per un totale di 64 GPU per rack. I collettori 1U tra ogni HGX H100 forniscono il raffreddamento a liquido necessario ai server. Nella parte inferiore di ogni rack c'è un'altra unità Supermicro 4U, caratterizzata da un sistema ridondante di pompe e quanto necessario per il monitoraggio del rack.

Crediti: ServeTheHome

I rack sono accoppiati in gruppi di otto, per un totale di 512 GPU per array. Ogni server è dotato di quattro alimentatori ridondanti, mentre la parte posteriore dei rack GPU svela alimentatori trifase, switch Ethernet e un collettore che fornisce tutto il raffreddamento a liquido. Colossus prevede oltre 1500 rack di GPU. Secondo Jensen Huang, CEO di Nvidia, le GPU di questi array sono state installate in sole tre settimane, a tempo di record.

Oltre alla potenza, un supercomputer come questo richiede anche un'elevatissima larghezza di banda. Ogni scheda grafica ha un NIC dedicata 400GbE, e non mancano una NIC 400Gb in più per ogni server. Ciò significa che ogni server HGX H100 dispone di una rete Ethernet da 3,6 Terabit al secondo.

Crediti: ServeTheHome

Quanto all'alimentazione, non mancano banchi di batterie Tesla Megapack che servono ad affrontare i picchi di energia e sopperire nel caso la rete elettrica andasse in crisi. In totale Colossus ha una capacità totale di circa 155 MW e l'operatore di rete ha previsto una connessione di 50 MW a partire da agosto, per arrivare a 200 MW entro la fine dell'anno. Di conseguenza, xAI ha dovuto installare 14 enormi generatori da 2,5 MW ciascuno per far fronte alla successiva espansione dell'alimentazione.

Crediti: ServeTheHome

La prima fase di costruzione di Colossus è stata completata e il cluster è completamente online, ma il lavoro non è finito. Presto il supercomputer sarà aggiornato per raddoppiare la sua capacità di ospitare GPU, inglobando altre 50.000 H100 e 50.000 H200. L'update raddoppierà anche il consumo di energia. E potrebbe non essere finita qui: Musk ha dichiarato in passato di voler inserire 300.000 H200 all'interno di Colossus, quindi è possibile che il supercomputer riceva ulteriori aggiornamenti in futuro.