NVIDIA Blackwell B200: due chip in uno per rivoluzionare l'intelligenza artificiale

[baruk]

Un po' come è successo all'epoca con le CPU classiche, assisteremo ad una crescita sempre maggiore di prestazioni di questi "mostri". L'unica paura è l'uso che si può fare di questi strumenti, che varia dalla medicina avanzata, alla ricerca scientifica ma anche ai peggiori scenari tra armi sempre più efficaci e impatto sui posti di lavoro in molti campi.

[Vul]

Originariamente inviato da frankie

la vera stranezza è utilizzare FP4 invece di FP8.
Ma io di questo non ci capisco e mi astengo.
Quanto siano meglio i calcoli FP4 invece che 8 su IA?

Dipende.

Fondamentalmente tutto cio' che riguarda il machine learning e' semplicemente fare moltiplicazioni tra matrici per trovare dei pesi da 0 ad 1.

fp4 significa che hai semplicemente la meta' dei bit disponibili per rappresentare questi pesi, quindi rinunci a numerosi ordini di accuratezza ma rimanendo in un range di precisione accettabile (in maniera grossolana possiamo dire che e' preciso alla quarta/quinta cifra dopo la virgola, e' un numero intermedio tra la quarta e la quinta in quanto un fp4 puo' rappresentare esattamente 45000 numeri circa).

Ora, anche se rinunci in accuratezza raddoppi la capacita' di calcolo e questo puo' essere desiderabile, in quanto se vuoi sperimentare sul tirare su un modello con diversi dati ci metti la meta' del tempo e poi eventualmente usare gli fp8 per quando generi il modello finale.

Ci sono diversi scenari dove questo e' preferibile e altri dove non lo e', ma l'avere la possibilita' ovviamente permette maggiore sperimentazione a maggior velocita'.

[boboviz]

Originariamente inviato da io78bis

Caspita a guardare le tabelle il confronto delle specifiche con AMD è piuttosto imbarazzante.

Ah, dici che confrontare una scheda uscita mesi fa con una che uscirà tra molti mesi è imbarazzante?

[boboviz]

Originariamente inviato da silvanotrevi

Wow che bomba potentissima! Questo è il futuro ragazzi. Grandissima Nvidia

Ne hai già prenotata una per il tuo pc di casa?

[Vul]

Originariamente inviato da boboviz

Ne hai già prenotata una per il tuo pc di casa?

No ma avra' comprato azioni Nvidia a 800 euro quindi deve accaparrare piu' membri possibile per il culto.

[giovanni69]

$10 Bln.. per lo sviluppo attorno alla piattaforma Blackwell.

[dominator84]

giacchetta ha sofferto

e ora xxxxxxaaaa fiamme!!! grande giacchè!

io ho già i piccioli pronti per blackwell, ma già che c'erano potevano chiamarla blackwhealty!

i miei patek philippe, e forse a breve un richard mille, ti aspettano!

[nebuk]

Ma tralasciando per un attimo le specifiche di Blackwell, quello che Jensen ieri ha fatto è stato un'enorme flexata davanti al mondo di tutto l'ecosistema NVIDIA che va dall'hardware ma soprattutto al software. Ha dimostrato di avere una piattaforma pronta e performante per poter impiegare immediatamente i propri prodotti in qualsiasi ambito, dal gattino sul browser al contenimento del plasma nei reattori a fusione.
É qui che sta la differenza fra NVIDIA e tutti gli altri competitor.

[nosio]

Originariamente inviato da nebuk

É qui che sta la differenza fra NVIDIA e tutti gli altri competitor.

in realtà lo ha solo fatto intendere, ma non ha presentato ne HW ne tantomeno software a disponibilità immediata.
parliamo di "farò, avrò, sarò"....

solo marketing per far star alte le azioni.
probabilmente gli assets li ha, ma la tecnologia non lo assiste, perchè quello che ha dichiarato senza un salto di nodo non è per nulla facile da ottenere...

[nosio]

Originariamente inviato da io78bis

Caspita a guardare le tabelle il confronto delle specifiche con AMD è piuttosto imbarazzante.

imbarazzante gli sbagli che hanno scritto...
3/4 delle specifiche di AMD sono sbagliate.
anche AMD ha Matrix, ma quelli sono, in parte, solo le prestazioni degli shaders.

anche nella tabella di comparazione tra Hopper e Blackwell sulla colonna di hopper le unità di misura sono tutte sbagliate.

[k0nt3]

In effetti i dati in tabella non tornano, mi sembra di capire che per Nvidia sono stati usati i valori "w/Sparsity", ma non l'equivalente AMD.

[boboviz]

Originariamente inviato da nebuk

Ha dimostrato di avere una piattaforma pronta e performante per poter impiegare immediatamente i propri prodotti in qualsiasi ambito, dal gattino sul browser al contenimento del plasma nei reattori a fusione.
É qui che sta la differenza fra NVIDIA e tutti gli altri competitor.

Ah, dici che le migliaia di MI300X che AMD sta vendendo ai vari clienti non sono pronte per funzionare?


P.S
Finchè non saranno provati sul campo, questi prodotti (e non si sa nemmeno quando di preciso), rimarranno solo benchmark che, per quanto entusiasmanti, sempre benchmark sono.

[RaZoR93]

Originariamente inviato da boboviz

Ah, dici che le migliaia di MI300X che AMD sta vendendo ai vari clienti non sono pronte per funzionare?


P.S
Finchè non saranno provati sul campo, questi prodotti (e non si sa nemmeno quando di preciso), rimarranno solo benchmark che, per quanto entusiasmanti, sempre benchmark sono.

Provate sul campo dici? Gli hyperscaler avranno già fatto ordini per miliardi di dollari per Blackwell. Credi non abbiano tastato con mano le capacità reali?
Solo il progetto Ceiba di Amazon Web Services annunciato ieri equivale a circa un 1 miliardo di dollari per 20.000 B200.

[Mars95]

Originariamente inviato da RaZoR93

Provate sul campo dici? Gli hyperscaler avranno già fatto ordini per miliardi di dollari per Blackwell. Credi non abbiano tastato con mano le capacità reali?
Solo il progetto Ceiba di Amazon Web Services annunciato ieri equivale a circa un 1 miliardo di dollari per 20.000 B200.

Tutte le volte che presentano cose di questo genere lo fanno sventolando parnership con questo o quello per dimostrare che ci sono progetti in corso.

Nello specifico il progetto Ceiba fino a ieiri avrabbe dovuto impiegare 16000 e rotti GH200, hanno annunciato l'upgrade a 20 mila B200.
Ottima cosa, ma sono anche 16 mila B200 in meno che venderanno.
Tra l'altro colloca il tutto più in la nel tempo perché B200 cominceranno a spedirle a fine 24.

Grazie al piffero che paragonando Blackwell alla generazione di Hopper e CDNA3 di AMD Blackwell ne esce vincitore a mani basse, ma oggi ci sono Hopper e CDNA3, Blackwell sarà architettura del 2025 insieme a CDNA4.

[nebuk]

Originariamente inviato da boboviz

Ah, dici che le migliaia di MI300X che AMD sta vendendo ai vari clienti non sono pronte per funzionare?

Non dico non siano pronte per funzionare, ma l'ambiente ROCm è indietro anni luce rispetto a quello nVIDIA.

[Alekx]

Originariamente inviato da mally

https://www.hdblog.it/tecnologia/art...anni-anticipo/

brutta e cattiva l'IA...

Che l' IA stia rivoluzionando un po' tutto e' sotto gli occhi di tutti, ma quello che hanno scritto in precedenza non e' una paura futura perche' si sta gia' verificando.

Basti guardare quello che sta succedendo negli USA dove proprio a causa delle IA il consumo di energia e' balzato ai limiti con molta preoccupazione.

A questo punto al di la di come verra' utilizzata, sicuramente sia in ambito lecito che illecito, il consumo rimarra' altissimo e forse non ci sara' energia per tutti.

[AceGranger]

Originariamente inviato da nosio

in realtà lo ha solo fatto intendere, ma non ha presentato ne HW ne tantomeno software a disponibilità immediata.
parliamo di "farò, avrò, sarò"....

solo marketing per far star alte le azioni.
probabilmente gli assets li ha, ma la tecnologia non lo assiste, perchè quello che ha dichiarato senza un salto di nodo non è per nulla facile da ottenere...

è la prassi.

HOPPER

presentazione Marzo 2022
commercializzazione Ottobre 2022

MI300

Presentazione Gennaio 2023
Commercializzazione Dicembre 2023

BW

Presentazione Marzo 2024
Commercializzazione prevista Settembre/ottobre 2024

Originariamente inviato da Mars95

Tutte le volte che presentano cose di questo genere lo fanno sventolando parnership con questo o quello per dimostrare che ci sono progetti in corso.

Nello specifico il progetto Ceiba fino a ieiri avrabbe dovuto impiegare 16000 e rotti GH200, hanno annunciato l'upgrade a 20 mila B200.
Ottima cosa, ma sono anche 16 mila B200 in meno che venderanno.
Tra l'altro colloca il tutto più in la nel tempo perché B200 cominceranno a spedirle a fine 24.

Grazie al piffero che paragonando Blackwell alla generazione di Hopper e CDNA3 di AMD Blackwell ne esce vincitore a mani basse, ma oggi ci sono Hopper e CDNA3, Blackwell sarà architettura del 2025 insieme a CDNA4.

il calendario con lo storico delle presentazione/vendita è segnato qui sopra

CDNA 4 alla fine sara l'architettura del 2026, come BW alla fine, lo sara del 2025, e via dicendo, perchè hanno sempre presentato a inizio anno e commercializzato a fine anno...;
attualmente AMD ha annunciato un refresh di MI300 con le nuove HBM3e, segno che CDN4 è molto lontano come nomale che sia, visto che la MI300 hanno iniziato a commercializzarla 3 mesi fa... se poi l'intenzione di AMD è bruciare la MI300 e abbreviare la commercializzazione di CDNA4 lo vedremo l'anno prossimo.

Originariamente inviato da boboviz

Ah, dici che le migliaia di MI300X che AMD sta vendendo ai vari clienti non sono pronte per funzionare?

Funzionano sicuramente bene entrambe, ma una funziona meglio e copre nettamente meglio le esigenze del mercato.

https://www.economist.com/the-econom...-the-ai-market
"Most analysts expect that Nvidia, which controls more than 95% of the market for specialist ai chips, will continue to grow at a blistering pace for the foreseeable future."

Originariamente inviato da boboviz

P.S
Finchè non saranno provati sul campo, questi prodotti (e non si sa nemmeno quando di preciso), rimarranno solo benchmark che, per quanto entusiasmanti, sempre benchmark sono.

Prove sul campo su stessi software hanno sempre avuto poco senso e dubito le vedrai mai perchè nVidia ha nel 99% dei casi i suoi tool proprietari e i risultati li vedi dai dati di diffusione; AMD ha sempre sbandierato i suoi dati i targa superiori alle nVidia in ogni sua slide, poi sul campo alla fine il sistema nVidia + "CUDA" ( inteso come software in ogni sua declinazione ) si è sempre rivelato quasi sempre migliore, da li il suo market share; nVidia nemmeno spreca pixel nelle slide a fare i confronti con le GPU AMD che detengono il 5% del marcato...

tempo fa spopolavano i bench dei motori di render OpenCL dove le AMD andavano un pelo meglio delle nVidia, senza poi contare che il grosso dei motori di render veri commerciali erano CUDA + RTX e nella realta nVidia va il triplo delle AMD...

[RaZoR93]

Originariamente inviato da Mars95

Tutte le volte che presentano cose di questo genere lo fanno sventolando parnership con questo o quello per dimostrare che ci sono progetti in corso.

Nello specifico il progetto Ceiba fino a ieiri avrabbe dovuto impiegare 16000 e rotti GH200, hanno annunciato l'upgrade a 20 mila B200.
Ottima cosa, ma sono anche 16 mila B200 in meno che venderanno.
Tra l'altro colloca il tutto più in la nel tempo perché B200 cominceranno a spedirle a fine 24.

Grazie al piffero che paragonando Blackwell alla generazione di Hopper e CDNA3 di AMD Blackwell ne esce vincitore a mani basse, ma oggi ci sono Hopper e CDNA3, Blackwell sarà architettura del 2025 insieme a CDNA4.

Considerando che AMD, stando alla trimestrale del Q4 2023, deve ancora mettere in commercio volumi decenti di MI300X direi che CDNA4 è come minimo a 2 anni di distanza.
Stando alla stessa guidance di AMD il volume di vendite per la serie di acceleratori CDNA3 è di appena 3,5 miliardi di dollari per l'intero anno (anche se probabilmente è una stima conservativa), una goccia rispetto al volume previsto per Nvidia che sarà di circa 80-100 miliardi quest'anno (per l'intero settore data center).

[mbk]

Tutto molto impressionante...chissà tra 10 anni di sviluppo dove saremo arrivati. Gli scenari ipotizzabili sono sia incredibilmente affascinanti che terribilmente preoccupanti. In un era dove la disinformazione la fa da padrone questi strumenti potrebbero cambiare molti equilibri. Staremo a vedere...

PS: QUalcuno ha già chiesto se riesce a far girare Crysis?

[Phantom II]

Originariamente inviato da dr-omega

A proposito di kW/h consumati, sempre meglio per l'IA che per le criptovalute . Comunque credo che far generare gatti azzurri con cappelli da pirata serva per alimentare il mercato, perché più richiesta genera più investimenti, più prestazioni e di conseguenza, come il famoso volano, più ricadute positive nei campi che servono davvero, teorici e pratici di fisica, medicina, meteo, geologia, e tutta la scienza buona.

Il problema infatti è che l'allocazione delle risorse (di ogni genere, da quelle energetiche per far funzionare l'ambaradan a quelle economiche essenziali per svilupparlo) è completamente in mano al mercato che del valore d'uso (che a me pare evidente sia zero tanto per le criptovalute, quanto per i gatti azzurri) se ne frega altamente perchè il fine è il valore di scambio che da decenni fa rima con speculazione.