100.000 GPU NVIDIA H100 raffreddate a liquido per addestrare Grok 3, il chabot di xAI

Elon Musk ha annunciato l'inizio dell'addestramento di Grok 3 da parte di xAI, la sua società di intelligenza artificiale, utilizzando le GPU NVIDIA H100. Secondo l'imprenditore, quello messo in piedi è "il cluster di addestramento IA più potente del mondo!".

Ad allenare la nuova versione dell'IA conversazionale Grok vi sono ben 100.000 GPU H100 raffreddate a liquido su un singolo fabric RDMA. L'addestramento è iniziato alle 4:20 del mattino, ora locale di Memphis (Tennessee), e secondo un altro post, il lavoro su quella che Musk ha definito "l'IA più potente del mondo" sarà ultimato a dicembre di quest'anno.

Grok 2, invece, arriverà il mese prossimo, dopo un addestramento con 20.000 GPU H100 d NVIDIA. Insomma, dichiarazioni di Musk a parte, Grok 3 conterà sull'apporto di cinque volte le GPU usate da xAI per Grok 2.

Ogni GPU H100 di NVIDIA costa circa 30.000 dollari, ma è chiaro che non sapremo mai con certezza lo scontrino presentato da NVIDIA a Musk, su ordini di quel calibro si ragiona contratto per contratto e i prezzi in genere sono più favorevoli.

NVIDIA sta per distribuire l'aggiornamento di H100, H200, ai propri clienti offrendo una memoria maggiore e più veloce. Tra le fine dell'anno e l'inizio del 2025 la società immetterà sul mercato gli acceleratori B100 e B200 basati su architettura Blackwell.

Nel frattempo, Musk ha lanciato un sondaggio su X chiedendo ai suoi follower se Tesla debba investire o meno 5 miliardi di dollari in xAI. Un modus operandi insolito, ma non certo per Musk, per valutare un possibile investimento tra le società di cui è a capo.

Ovviamente, come puntualizzato dallo stesso imprenditore, si tratta di un sondaggio per "testare le acque", in quanto la valutazione dovrà essere stabilita da diversi investitori esterni e sarà necessaria l'approvazione del consiglio di amministrazione e il voto degli azionisti per poter procedere.