NVIDIA consegna il suo mini supercomputer a Elon Musk: inizia una nuova era dell'AI

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ai_144780.html

NVIDIA ha introdotto ufficiale DGX Spark, il supercomputer AI più compatto mai realizzato: 1 petaFLOP di potenza, 128 GB di memoria unificata e architettura Grace Blackwell in un sistema desktop da 3.000 dollari. Pensato per sviluppatori e ricercatori, permette di eseguire localmente modelli fino a 200 miliardi di parametri senza cloud.

Click sul link per visualizzare la notizia.

[TorettoMilano]

pauroso il grafico, anche se effettivamente 9 anni sono un'eternità a livello informatico

[Unrue]

Tra qualche anno quel pezzo autografato varrà qualche milione.

[supertigrotto]

È già disponibile su AliExpress e con il choice

[Damy06]

Attenzione: la tabella confronta calcoli a 16 bit di precisione con calcoli a 4 bit di precisione

[Fox82i]

Impressionante l'efficienza energetica per il petaflop di potenza...

[fenixpoint]

e una operazione di marketing

[ferro75]

"Impressionante", anche se i 3000$ poi diventano 4000-1... Forse l'articolo è stato scritto in precisione fp4

Andando a leggere le specifiche il tutto torna nei parametri della normalità... ad esempio la memoria non è HBM come ci si aspetterebbe su un sistema pensato per l'AI, ma è una semplice LPDDR5 con bus a 256bit e appena 273GB/s di banda :/

[Notturnia]

Originariamente inviato da Damy06

Attenzione: la tabella confronta calcoli a 16 bit di precisione con calcoli a 4 bit di precisione

avevo notato anche io.. ma perchè si degrada a 4 bit ?.. c'è un motivo ?
16 bit sono un ordine di grandezza ben differente di 4 bit.. ha senso ?

[tenebreoscure]

4 bit sono la massima quantizzazione a cui si può scendere senza perdite sensibili di prestazioni di un modello AI, anche se su questo ci sarebbe da discutere, ad esempio per i modelli di generazione immagini già a 8 bit la perdita di prestazioni si nota. Inoltre blackwell ha introdotto ottimizzazione per i calcoli in FP4 e INT4 (https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/), quindi confrontando con le passate generazioni (a 16bit!) ci sono guadagni astronomici.
Questo Spark in realtà è pensato per training, non per l'inferenza. 128GB di memoria a 270GB/S consentono di fare training in locale che prima si poteva fare solo in cloud, mentre per l'inferenza sono decisamente numeri bassi. D'altra parte NVidia non si fa certo concorrenza in casa!