View Full Version : 100.000 GPU NVIDIA H100 raffreddate a liquido per addestrare Grok 3, il chabot di xAI
Redazione di Hardware Upg
24-07-2024, 09:01
Link alla notizia: https://www.hwupgrade.it/news/skvideo/100000-gpu-nvidia-h100-raffreddate-a-liquido-per-addestrare-grok-3-il-chabot-di-xai_129172.html
Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".
Click sul link per visualizzare la notizia.
Bello ! E quanto consuma questa mostruosità ??? :mbe:
Domando per un amico.
tommy781
24-07-2024, 09:15
poi rompono a noi dell'inquinamento e di risparmiare e di non sprecare energia...dovrebbero mettere al bando queste tecnologie che consumano quantità enormi di energia e di cui possiamo benissimo fare a meno.
Bello ! E quanto consuma questa mostruosità ??? :mbe:
Domando per un amico.
700W per GPU × 100.000 GPU = 70.000.000W = almeno 70MW + raffreddamento e tutto il resto
Non è che più GPU ci metti e migliore sarà il risultato. Basta vedere le comparative tra i vari LLM. Alla fine il miglioramente con un gozzilione di parametri non è lineare per nulla. Vedremo :)
UtenteHD
24-07-2024, 10:01
Per chi si lamenta, beh si la gente comune si deve sempre impegnare per chi sta meglio di Loro sia per il green che per tutto il resto.
Per articolo, come gia' detto da altri, attualmente le spese per l'IA come per i consumi sono totalmente sproporzionati paragonati sia a quello che si ottiene che ai Loro guadagni. Magari Loro hanno una visione di guadagno certo futuro in X decenni.
Adesso c'è la Bolla IA.
Tutti a fare la corsa per avere il meglio e modelli con Zettaparametri.
Serve?
Non sempre, per non dire quasi mai.
Quando capiremo che non serve ciatgipittì per il pollo alla piastra di Benedetta Pardodi, allora saremo ad un altro livello.
PS per molte domande, la risposta è nei primi tre link della ricerca, basta leggere...
silvanotrevi
24-07-2024, 11:39
tutti con questa fissa della IA :doh:
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... :doh: Adda passà 'a nuttata dicono a Napoli :doh:
tutti con questa fissa della IA :doh:
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... :doh: Adda passà 'a nuttata dicono a Napoli :doh:
Oooooh, ci mancava il tuttologo boomer che non ci capisce niente. Associare tutti i miglioramenti in ambito AI con i btc è come dire di essere cicciolina solo perché mangi le carote a pranzo.
La cosa che mi fa ribrezzo è che probalmente abbiamo la stessa età visti i riferimenti, il che mi fa rabbrividire dato che probabilmente voti anche :muro:
Link alla notizia: https://www.hwupgrade.it/news/skvideo/100000-gpu-nvidia-h100-raffreddate-a-liquido-per-addestrare-grok-3-il-chabot-di-xai_129172.html
Elon Musk ha annunciato che è partito l'addestramento di Grok 3 da parte di xAI servendosi di ben 100.000 GPU NVIDIA H100 raffreddate a liquido. Secondo l'imprenditore "è il più potente cluster di addestramento dell'IA del mondo".
Click sul link per visualizzare la notizia.
Gli conveniva metterle a creare delle criptovalute con quella potenza di GPU
pachainti
24-07-2024, 12:57
tutti con questa fissa della IA :doh:
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... :doh: Adda passà 'a nuttata dicono a Napoli :doh:
Esatto aria fritta all'ennesima potenza, utilità reale sostanzialmente nulla, soldi facili per gli speculatori. Fino a quando ci sarà chi continuerà a credete a tutto...
Non è che più GPU ci metti e migliore sarà il risultato. Basta vedere le comparative tra i vari LLM. Alla fine il miglioramente con un gozzilione di parametri non è lineare per nulla. Vedremo :)
Contano anche i tempi di addestramento. In questo campo ultracompetitivo prima arrivi e proponi qualcosa e meglio è.
poi rompono a noi dell'inquinamento e di risparmiare e di non sprecare energia...dovrebbero mettere al bando queste tecnologie che consumano quantità enormi di energia e di cui possiamo benissimo fare a meno.
Forse TU puoi farne a meno... Poi non è che si fanno addestramenti del genere tutti i giorni.
tutti con questa fissa della IA :doh:
dai che prima o poi si renderanno conto che è una cavolata e ritorneremo ai computer normali. Aria fritta. Come lo era la fissa per la realta' virtuale e per il metaverso; o quella per il mining e per i bitcoin. Quando ero giovane io c'era la fissa per second life e file di aziende compravano negozi virtuali e centri commerciali. Dai che ogni fissa prima o poi finisce (meno male, e per fortuna). Ci romperanno ancora i maroni per qualche anno con questa stupida IA, il tempo che ci spellano un po di soldi convincendoci a comprare computer IA, smartphone IA, automobili IA, lavatrici IA, ... :doh: Adda passà 'a nuttata dicono a Napoli :doh:
Oooooh, ci mancava il tuttologo boomer che non ci capisce niente. Associare tutti i miglioramenti in ambito AI con i btc è come dire di essere cicciolina solo perché mangi le carote a pranzo.
La cosa che mi fa ribrezzo è che probalmente abbiamo la stessa età visti i riferimenti, il che mi fa rabbrividire dato che probabilmente voti anche :muro:
Nel mondo cripto tutto è stato una bolla (alt coin, ico, nft, ecc) tranne bitcoin che è ancora qui vivo e vegeto.
E' passata la bolla del minare le cripto con le schede video ? Si è passata.
Bitcoin non è mai stato coinvolto in tale bolla, in quanto non si mina da diversi anni con le schede video ma con gli asic, hardware specifico dedicato più performante delle schede video (hardware che fa solo quella operazione e la fa molto bene). Per le cripto minori si usano le schede video dove si decide via software su quale algoritmo e quindi su quale criptovaluta minare, non avendo raggiunto il successo di bitcoin per esse non sono stati costruiti degli hardware specifici (asic).
E' passata la "bolla" del minare bitcoin ? No, si continua a farlo con gli asic come sempre indipendentemente dalle altre altcoin e le loro schede video..
Nel mondo cripto tutto è stato una bolla (alt coin, ico, nft, ecc) tranne bitcoin che è ancora qui vivo e vegeto.
E' passata la bolla del minare le cripto con le schede video ? Si è passata.
Bitcoin non è mai stato coinvolto in tale bolla, in quanto non si mina da diversi anni con le schede video ma con gli asic, hardware specifico dedicato più performante delle schede video (hardware che fa solo quella operazione e la fa molto bene). Per le cripto minori si usano le schede video dove si decide via software su quale algoritmo e quindi su quale criptovaluta minare, non avendo raggiunto il successo di bitcoin per esse non sono stati costruiti degli hardware specifici (asic).
E' passata la "bolla" del minare bitcoin ? No, si continua a farlo con gli asic come sempre indipendentemente dalle altre altcoin e le loro schede video..
Non si parlava di cosa ci fai con le schede video, ma delle applicazioni pratiche.
AI ha centinaia di use case differenti già attualmente usati da milioni di aziende dirattamente o indirettamente con risultati eccellenti. Con un btc non riesci a scoprire tumori che prima erano pressoché impossibili da vedere analizzando un dataset di risultati MRI / Xray. Con Btc non riesci a generare codice applicativo semplicemente spiegando nel dettaglio cosa serve. Con Btc non puoi creare traduttori istantanei. E potrei continuare per 20min a scrivere.
BTC forse ha una sola applicazione pratica (value store), anzi, forse due (value store e specularci su).
Quindi, come dicevo, paragonare AI a BTC è una barzelletta. E' come paragonare una scorreggia al David. Sono due cose che non centrano nulla l'una con l'altra.
Quindi, come dicevo, paragonare AI a BTC è una barzelletta. E' come paragonare una scorreggia al David. Sono due cose che non centrano nulla l'una con l'altra.
Su questo sono d'accordo, non si possono paragonare pere con mele. Su quello su cui andrei cauto è lo sminuire bitcoin come se fosse una shitcoin qualsiasi.
AI ha centinaia di use case differenti già attualmente usati da milioni di aziende dirattamente o indirettamente con risultati eccellenti. Con un btc non riesci a scoprire tumori che prima erano pressoché impossibili da vedere analizzando un dataset di risultati MRI / Xray. Con Btc non riesci a generare codice applicativo semplicemente spiegando nel dettaglio cosa serve. Con Btc non puoi creare traduttori istantanei. E potrei continuare per 20min a scrivere.
Con btc puoi avere del valore su un tuo wallet inconfiscabile (se uno è sufficientemete skillato). Con btc puoi inviare valore per finanziare wikileaks quando i circuiti di pagamento tradizionali gli hanno tolto il supporto (vedi 2011), o per dire al posto di wikileaks puoi finanziare un blogger dissidente anonimo su tor per pagarsi l'hosting. Con btc se sei il governo di Tonga puoi esporre al mondo un tuo indirizzo e ricevere donazioni in btc trasparenti dopo lo tznunami (poi potrebbero anche usarli male, ma il canale che porta l'intero valore donato fino a Tonga non è opaco come nelle raccolte fondi tradizionali, eviti il potenziale magna magna a monte e ti resta solo quello a valle). Con btc puoi scrivere la tua idea su un file di testo (io WarSide oggi ho inventato questa cosa e qui la descrivo), poi calcoli un'impronta hash di tale file e salvi in una transazione btc nel campo OP_RETURN tale impronta (essendo una piccola stringa). A distanza di anni (se hai conservato intatto il file) potrai dimostrare che nel blocco x del 24 luglio 2024 della blockchain di bitcoin è presenta l'hash di tale file: quindi dimostri che tale idea era nella tua mente almeno a partire da tale data. Con btc posso comprare droga online, ma aspetta questo è illegale! Certo è illegale ma negli stessi siti del darkweb un altro prodotto vendutissimo è la bibbia perchè in certi paesi è illegale o è mal visto far sapere di averla . E potrei continuare per 20min a scrivere.
Ma in ogni caso chissenefrega, btc e ai non sono paragonabili sono cose diverse non ha senso dire chi è meglio dell'altro. Al massimo possiamo prevedere se tra qualche anno tutti e due o uno dei due o nessuno di essi sarà ancora in ampio uso o meno o in uso limitato a certi ambiti.
Nel mondo cripto tutto è stato una bolla (alt coin, ico, nft, ecc) tranne bitcoin che è ancora qui vivo e vegeto.
Aggiungerei Ethereum
Aggiungerei Ethereum
Si ma ormai non è più una cripto puro sangue (fose non lo è mai stata vedi DAO 2017) ma un sistema centralizzato che si spaccia per decentralizzato. Ethereum è vivo e vegeto ma è un'altra cosa rispetto a bitcoin non sono paragonabili, fanno e sono cose diverse.
Si ma ormai non è più una cripto puro sangue (fose non lo è mai stata vedi DAO 2017) ma un sistema centralizzato che si spaccia per decentralizzato. Ethereum è vivo e vegeto ma è un'altra cosa rispetto a bitcoin non sono paragonabili, fanno e sono cose diverse.
Beh neanche i Bitcoin se è per questo, da quando hanno approvato gli ETF Bitcoin.
Beh neanche i Bitcoin se è per questo, da quando hanno approvato gli ETF Bitcoin.
Le due cose (decentralizzazione della rete) e il fatto che qualcuno speculi sul valore del token (etf su bitcoin, o su ethereum in futuro) non sono correlate.
La decentralizzazione di bitcoin è data:
1)da quanti full node stanno girando per il mondo --> decentralizzazione del consenso sulle regole del protocollo
e
2) da quanto hash power i vari miner in giro per il mondo stanno dispiegando e da quanto questo hash power è frammentato o potenzialmente frammentabile* tra più miner diversi --> resistenza ad un potenziale 51% attack in grado di riscrivere la storia di qualche transazione (questa cosa non cambia il consenso ma può fare double spending o censurare transazioni)
*potenzialmente frammentabile = se ci si accorge che un unico soggetto sta acquisendo da solo troppo mining power possono unirsi al network nuovi minatori per contrastarlo o se tale soggetto è una grossa pool i singoli utenti della pool possono lasciare in favore di un'altra spaventati dalla situazione
Le domande da porsi non sono del tipo "chi e quanto specula su bitcoin", ma più del tipo: quali fattori (tecnici e non) favoriscono o meno la crescita del numero totale di full node indipendenti in giro per il mondo trattandosi di una rete p2p?
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.