100.000 GPU NVIDIA H100 raffreddate a liquido per addestrare Grok 3, il chabot di xAI

100.000 GPU NVIDIA H100 raffreddate a liquido per addestrare Grok 3, il chabot di xAI

Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".

di pubblicata il , alle 10:01 nel canale Schede Video
HopperNVIDIAxAI
 

Elon Musk ha annunciato l'inizio dell'addestramento di Grok 3 da parte di xAI, la sua società di intelligenza artificiale, utilizzando le GPU NVIDIA H100. Secondo l'imprenditore, quello messo in piedi è "il cluster di addestramento IA più potente del mondo!".

Ad allenare la nuova versione dell'IA conversazionale Grok vi sono ben 100.000 GPU H100 raffreddate a liquido su un singolo fabric RDMA. L'addestramento è iniziato alle 4:20 del mattino, ora locale di Memphis (Tennessee), e secondo un altro post, il lavoro su quella che Musk ha definito "l'IA più potente del mondo" sarà ultimato a dicembre di quest'anno.

Grok 2, invece, arriverà il mese prossimo, dopo un addestramento con 20.000 GPU H100 d NVIDIA. Insomma, dichiarazioni di Musk a parte, Grok 3 conterà sull'apporto di cinque volte le GPU usate da xAI per Grok 2.

Ogni GPU H100 di NVIDIA costa circa 30.000 dollari, ma è chiaro che non sapremo mai con certezza lo scontrino presentato da NVIDIA a Musk, su ordini di quel calibro si ragiona contratto per contratto e i prezzi in genere sono più favorevoli.

NVIDIA sta per distribuire l'aggiornamento di H100, H200, ai propri clienti offrendo una memoria maggiore e più veloce. Tra le fine dell'anno e l'inizio del 2025 la società immetterà sul mercato gli acceleratori B100 e B200 basati su architettura Blackwell.

Nel frattempo, Musk ha lanciato un sondaggio su X chiedendo ai suoi follower se Tesla debba investire o meno 5 miliardi di dollari in xAI. Un modus operandi insolito, ma non certo per Musk, per valutare un possibile investimento tra le società di cui è a capo.

Ovviamente, come puntualizzato dallo stesso imprenditore, si tratta di un sondaggio per "testare le acque", in quanto la valutazione dovrà essere stabilita da diversi investitori esterni e sarà necessaria l'approvazione del consiglio di amministrazione e il voto degli azionisti per poter procedere.

19 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Saturn24 Luglio 2024, 10:02 #1
Bello ! E quanto consuma questa mostruosità ???

Domando per un amico.
tommy78124 Luglio 2024, 10:15 #2
poi rompono a noi dell'inquinamento e di risparmiare e di non sprecare energia...dovrebbero mettere al bando queste tecnologie che consumano quantità enormi di energia e di cui possiamo benissimo fare a meno.
s12a24 Luglio 2024, 10:51 #3
Originariamente inviato da: Saturn
Bello ! E quanto consuma questa mostruosità ???

Domando per un amico.


700W per GPU × 100.000 GPU = 70.000.000W = almeno 70MW + raffreddamento e tutto il resto
WarSide24 Luglio 2024, 10:54 #4
Non è che più GPU ci metti e migliore sarà il risultato. Basta vedere le comparative tra i vari LLM. Alla fine il miglioramente con un gozzilione di parametri non è lineare per nulla. Vedremo
UtenteHD24 Luglio 2024, 11:01 #5
Per chi si lamenta, beh si la gente comune si deve sempre impegnare per chi sta meglio di Loro sia per il green che per tutto il resto.

Per articolo, come gia' detto da altri, attualmente le spese per l'IA come per i consumi sono totalmente sproporzionati paragonati sia a quello che si ottiene che ai Loro guadagni. Magari Loro hanno una visione di guadagno certo futuro in X decenni.
frankie24 Luglio 2024, 11:48 #6
Adesso c'è la Bolla IA.
Tutti a fare la corsa per avere il meglio e modelli con Zettaparametri.
Serve?
Non sempre, per non dire quasi mai.

Quando capiremo che non serve ciatgipittì per il pollo alla piastra di Benedetta Pardodi, allora saremo ad un altro livello.

PS per molte domande, la risposta è nei primi tre link della ricerca, basta leggere...
silvanotrevi24 Luglio 2024, 12:39 #7
tutti con questa fissa della IA

dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... Adda passà 'a nuttata dicono a Napoli
WarSide24 Luglio 2024, 12:44 #8
Originariamente inviato da: silvanotrevi
tutti con questa fissa della IA

dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... Adda passà 'a nuttata dicono a Napoli


Oooooh, ci mancava il tuttologo boomer che non ci capisce niente. Associare tutti i miglioramenti in ambito AI con i btc è come dire di essere cicciolina solo perché mangi le carote a pranzo.

La cosa che mi fa ribrezzo è che probalmente abbiamo la stessa età visti i riferimenti, il che mi fa rabbrividire dato che probabilmente voti anche
aqua8424 Luglio 2024, 13:13 #9
Originariamente inviato da: Redazione di Hardware Upgrade
Link alla notizia: https://www.hwupgrade.it/news/skvid...xai_129172.html

Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".

Click sul link per visualizzare la notizia.


Gli conveniva metterle a creare delle criptovalute con quella potenza di GPU
pachainti24 Luglio 2024, 13:57 #10
Originariamente inviato da: silvanotrevi
tutti con questa fissa della IA

dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... Adda passà 'a nuttata dicono a Napoli


Esatto aria fritta all'ennesima potenza, utilità reale sostanzialmente nulla, soldi facili per gli speculatori. Fino a quando ci sarà chi continuerà a credete a tutto...

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^