100.000 GPU NVIDIA H100 raffreddate a liquido per addestrare Grok 3, il chabot di xAI

Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".
di Manolo De Agostini pubblicata il 24 Luglio 2024, alle 10:01 nel canale Schede VideoHopperNVIDIAxAI
Elon Musk ha annunciato l'inizio dell'addestramento di Grok 3 da parte di xAI, la sua società di intelligenza artificiale, utilizzando le GPU NVIDIA H100. Secondo l'imprenditore, quello messo in piedi è "il cluster di addestramento IA più potente del mondo!".
Ad allenare la nuova versione dell'IA conversazionale Grok vi sono ben 100.000 GPU H100 raffreddate a liquido su un singolo fabric RDMA. L'addestramento è iniziato alle 4:20 del mattino, ora locale di Memphis (Tennessee), e secondo un altro post, il lavoro su quella che Musk ha definito "l'IA più potente del mondo" sarà ultimato a dicembre di quest'anno.
Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.
— Elon Musk (@elonmusk) July 22, 2024
With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
Grok 2, invece, arriverà il mese prossimo, dopo un addestramento con 20.000 GPU H100 d NVIDIA. Insomma, dichiarazioni di Musk a parte, Grok 3 conterà sull'apporto di cinque volte le GPU usate da xAI per Grok 2.
Ogni GPU H100 di NVIDIA costa circa 30.000 dollari, ma è chiaro che non sapremo mai con certezza lo scontrino presentato da NVIDIA a Musk, su ordini di quel calibro si ragiona contratto per contratto e i prezzi in genere sono più favorevoli.
This is a significant advantage in training the world’s most powerful AI by every metric by December this year
— Elon Musk (@elonmusk) July 22, 2024
NVIDIA sta per distribuire l'aggiornamento di H100, H200, ai propri clienti offrendo una memoria maggiore e più veloce. Tra le fine dell'anno e l'inizio del 2025 la società immetterà sul mercato gli acceleratori B100 e B200 basati su architettura Blackwell.
Should Tesla invest $5B into @xAI, assuming the valuation is set by several credible outside investors?
— Elon Musk (@elonmusk) July 24, 2024
(Board approval & shareholder vote are needed, so this is just to test the waters)
Nel frattempo, Musk ha lanciato un sondaggio su X chiedendo ai suoi follower se Tesla debba investire o meno 5 miliardi di dollari in xAI. Un modus operandi insolito, ma non certo per Musk, per valutare un possibile investimento tra le società di cui è a capo.
Ovviamente, come puntualizzato dallo stesso imprenditore, si tratta di un sondaggio per "testare le acque", in quanto la valutazione dovrà essere stabilita da diversi investitori esterni e sarà necessaria l'approvazione del consiglio di amministrazione e il voto degli azionisti per poter procedere.
19 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoDomando per un amico.
Domando per un amico.
700W per GPU × 100.000 GPU = 70.000.000W = almeno 70MW + raffreddamento e tutto il resto
Per articolo, come gia' detto da altri, attualmente le spese per l'IA come per i consumi sono totalmente sproporzionati paragonati sia a quello che si ottiene che ai Loro guadagni. Magari Loro hanno una visione di guadagno certo futuro in X decenni.
Tutti a fare la corsa per avere il meglio e modelli con Zettaparametri.
Serve?
Non sempre, per non dire quasi mai.
Quando capiremo che non serve ciatgipittì per il pollo alla piastra di Benedetta Pardodi, allora saremo ad un altro livello.
PS per molte domande, la risposta è nei primi tre link della ricerca, basta leggere...
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ...
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ...
Oooooh, ci mancava il tuttologo boomer che non ci capisce niente. Associare tutti i miglioramenti in ambito AI con i btc è come dire di essere cicciolina solo perché mangi le carote a pranzo.
La cosa che mi fa ribrezzo è che probalmente abbiamo la stessa età visti i riferimenti, il che mi fa rabbrividire dato che probabilmente voti anche
Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".
Click sul link per visualizzare la notizia.
Gli conveniva metterle a creare delle criptovalute con quella potenza di GPU
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ...
Esatto aria fritta all'ennesima potenza, utilità reale sostanzialmente nulla, soldi facili per gli speculatori. Fino a quando ci sarà chi continuerà a credete a tutto...
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".