NVIDIA Blackwell B200: due chip in uno per rivoluzionare l'intelligenza artificiale

[Redazione di Hardware Upg]

Link all'Articolo: https://www.hwupgrade.it/articoli/sk...ale_index.html

Due GPU (die) su un unico package per un totale di 208 miliardi di transistor: la nuova GPU Blackwell di NVIDIA nasce per accelerare l'innovazione nel campo dell'intelligenza artificiale come mai prima d'ora. La nuova proposta è accompagnata da 192 GB di memoria HBM3E per una bandwidth di 8 TB/s. A comporre la nuova offerta di NVIDIA troviamo tre soluzioni: B100, B200 e GB200.

Click sul link per visualizzare l'articolo.

[silvanotrevi]

Wow che bomba potentissima! Questo è il futuro ragazzi. Grandissima Nvidia

[xxxyyy]

Con GX200 supereremo tranquillamente gli zettaflops... paura.

[io78bis]

Caspita a guardare le tabelle il confronto delle specifiche con AMD è piuttosto imbarazzante.

Non capisco come sia riuscita a mantenere un consumo di 700W con lo stesso processo produttivo (ok evoluto) e numero transistor più che raddoppiati e RAM e altre specifiche molto migliorate

[Dracula1975]

Originariamente inviato da Redazione di Hardware Upgrade

Link all'Articolo: https://www.hwupgrade.it/articoli/sk...ale_index.html

Due GPU (die) su un unico package per un totale di 208 miliardi di transistor: la nuova GPU Blackwell di NVIDIA nasce per accelerare l'innovazione nel campo dell'intelligenza artificiale come mai prima d'ora. La nuova proposta è accompagnata da 192 GB di memoria HBM3E per una bandwidth di 8 TB/s. A comporre la nuova offerta di NVIDIA troviamo tre soluzioni: B100, B200 e GB200.

Click sul link per visualizzare l'articolo.

La vera "stranezza" è l'utilizzo del 4nm invece che del 3nm....mi aspettavo decisamente il 3nm (quindi mi fa pensare anche per le future soluzioni gaming che tutti davano sui 3nm ma a sto punto..bhooo)

[frankie]

la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?

[carloUba]

Originariamente inviato da frankie

la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?

Non mi dilungo troppo ma è stato l'argomento principale di un corso che ho seguito proprio in sede nvidia e ti assicuro che i vantaggi in inferenza di FP4 su FP8 sono ENORMI.

[ninja750]

tutto questo per "disegnami un gatto azzurro con il cappello da pirata"

[io78bis]

Originariamente inviato da carloUba

Non mi dilungo troppo ma è stato l'argomento principale di un corso che ho seguito proprio in sede nvidia e ti assicuro che i vantaggi in inferenza di FP4 su FP8 sono ENORMI.

Immagino la risposta sia negativa ma puoi girare documentazione in merito?

[io78bis]

Originariamente inviato da ninja750

tutto questo per "disegnami un gatto azzurro con il cappello da pirata"

Si ma con una velocità che non hai mai visto prima

[hackaro75]

Eh niente l'AI farà bruciare letteralmente tutto il pianeta visto il consumo folle di queste architetture !!!! Addio mondo !!!

[pengfei]

Rimango sempre allibito dalla miopia e reazionarismo di buona parte degli utenti, sembra di essere in un bar frequentato da umarell

[!fazz]

Originariamente inviato da frankie

la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?

non è che siano meglio ma spesso per i calcoli di inferenza avere una tale precisione in virgola mobile è esagerato (a meno di modelli di calcolo specifici per limitatissime applicazioni)

il fatto è che abbassare la risoluzione del float permette di usare molti meno transistor nell'alu e quindi di poter mettere molte più unità di calcolo nel chip ma se hai unità a 64bit utilizzarle per calcoli più semplici è nettamente meno efficente (come è meno efficente aggregare unità più semplici per risolvere iterativamente calcoli complessi

per fare un esempio da gaming fps / tiro pensa alle unità a 64 bit come dei .50 tipo barrett e alle fp4 come ad un piccolissimo .22 da tiro olimpionico

ovviamente il .50 ha molta più birra ma se il tuo obiettivo è sterminare una legione di topi molto meglio avere 100 fucili in .22 che uno in .50

[Mars95]

Originariamente inviato da io78bis

Caspita a guardare le tabelle il confronto delle specifiche con AMD è piuttosto imbarazzante.

Non capisco come sia riuscita a mantenere un consumo di 700W con lo stesso processo produttivo (ok evoluto) e numero transistor più che raddoppiati e RAM e altre specifiche molto migliorate

È imbarazante tanto quanto il confronto con H100, perchè bisogna sempre aizzare le tifoserie di una o l'altra parte?

Originariamente inviato da hackaro75

Eh niente l'AI farà bruciare letteralmente tutto il pianeta visto il consumo folle di queste architetture !!!! Addio mondo !!!

Originariamente inviato da pengfei

Rimango sempre allibito dalla miopia e reazionarismo di buona parte degli utenti, sembra di essere in un bar frequentato da umarell

Originariamente inviato da mally

https://www.hdblog.it/tecnologia/art...anni-anticipo/

brutta e cattiva l'IA...

Si forse alcuni commenti sembrano da bar frequentato da umarell però un pizzico di verità la contengono.

Sicuramente la AI è utilissima e rivoluzionaria in molti campi, ma è anche vero che migliaia di kW/h vengono bruciati per disegnari gatti azzurri col cappello da pirata come ha scritto Ninja.
È molto più l'energia buttata per cagate che l'energia usata per diagnosticare l'Alzheimer o i tumori della pelle per citare un altro utilizzo medico.

La AI non è ne buona ne cattiva è uno strumento, un ottimo strumento, ma come tutti gli strumenti può essere usato male.

[dr-omega]

Originariamente inviato da Mars95

...cut...

Sicuramente la AI è utilissima e rivoluzionaria in molti campi, ma è anche vero che migliaia di kW/h vengono bruciati per disegnari gatti azzurri col cappello da pirata come ha scritto Ninja.
È molto più l'energia buttata per cagate che l'energia usata per diagnosticare l'Alzheimer o i tumori della pelle per citare un altro utilizzo medico.

La AI non è ne buona ne cattiva è uno strumento, un ottimo strumento, ma come tutti gli strumenti può essere usato male.

A proposito di kW/h consumati, sempre meglio per l'IA che per le criptovalute . Comunque credo che far generare gatti azzurri con cappelli da pirata serva per alimentare il mercato, perché più richiesta genera più investimenti, più prestazioni e di conseguenza, come il famoso volano, più ricadute positive nei campi che servono davvero, teorici e pratici di fisica, medicina, meteo, geologia, e tutta la scienza buona.

[CtrlAltSdeng!]

Originariamente inviato da silvanotrevi

Wow che bomba potentissima! Questo è il futuro ragazzi. Grandissima Nvidia

Ma ti pagano?

[supertigrotto]

Lavoro eccellente ma aspetto le risposte di Intel, AMD, IBM,MIT,Keller e altri ancora che non sono gli ultimi arrivati.
Sono contento che consumino meno energia questa serie 200 ma altre soluzioni promettono ancora meglio,staremo a vedere.
L'unica cosa è che spero non facciano il giochino che sembra stiano facendo con i clienti,se osano solo guardare la concorrenza,ritardano di proposito le consegne anche di molto,un giochino alla Intel di tanti anni fa.

[Mars95]

L'angolo del rompipalle.

Perchè scrivere sempre IA e non AI?
"Perchè in italiano di si dice intelligenza artificiale"
Certo e allora perchè scrivere CPU e GPU e non UEC e UEG (Unità di Elaborazione Centrale/Grafica)?

[baruk]

Un po' come è successo all'epoca con le CPU classiche, assisteremo ad una crescita sempre maggiore di prestazioni di questi "mostri". L'unica paura è l'uso che si può fare di questi strumenti, che varia dalla medicina avanzata, alla ricerca scientifica ma anche ai peggiori scenari tra armi sempre più efficaci e impatto sui posti di lavoro in molti campi.

[Vul]

Originariamente inviato da frankie

la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?

Dipende.

Fondamentalmente tutto cio' che riguarda il machine learning e' semplicemente fare moltiplicazioni tra matrici per trovare dei pesi da 0 ad 1.

fp4 significa che hai semplicemente la meta' dei bit disponibili per rappresentare questi pesi, quindi rinunci a numerosi ordini di accuratezza ma rimanendo in un range di precisione accettabile (in maniera grossolana possiamo dire che e' preciso alla quarta/quinta cifra dopo la virgola, e' un numero intermedio tra la quarta e la quinta in quanto un fp4 puo' rappresentare esattamente 45000 numeri circa).

Ora, anche se rinunci in accuratezza raddoppi la capacita' di calcolo e questo puo' essere desiderabile, in quanto se vuoi sperimentare sul tirare su un modello con diversi dati ci metti la meta' del tempo e poi eventualmente usare gli fp8 per quando generi il modello finale.

Ci sono diversi scenari dove questo e' preferibile e altri dove non lo e', ma l'avere la possibilita' ovviamente permette maggiore sperimentazione a maggior velocita'.