NVIDIA porta l'IA generativa su desktop: arrivano i superPC Project Digits

[Redazione di Hardware Upg]

Link alla notizia: https://edge9.hwupgrade.it/news/devi...ts_134286.html

I nuovi supercomputer costeranno circa 3000 dollari e saranno in grado di gestire carichi di lavoro di intelligenza artificiale fino a 200 miliardi di parametri. Saranno disponibili a partire dal mese di maggio

Click sul link per visualizzare la notizia.

[pengfei]

Dov'è la fregatura?
Volendo smanettare sull'AI rispetto ad esempio a farsi un pc con 4090 il rapporto prestazioni/prezzo di questo mi sembra troppo superiore.
Ha una quantità di RAM clamorosa rispetto alle schede video solitamente accessibili ai consumer e il petaflop non so neanche come sia confrontabile con una 4090 che sulla carta va decisamente meno, forse è calcolato su precisioni più basse

[supertigrotto]

Sarebbe interessante una bella recensione da parte di un programmatore che si occupa di IA,Nvidia ogni tanto mi stupisce o mi delude (è diventata una specie di Apple,ovvero su certi prodotti tanto di cappello,su altri è gonfiata con delle pseudo leggende metropolitane) sta di fatto che bei prodotti ne ha, però,ad esempio,jetson nano era quasi una chiavica venduta a caro prezzo e spacciata per un prodotto miracoloso.

[Aznable]

Dov'è la fregatura?

La fregatura sono i 128gb di memoria unificata che non avranno la banda di una scheda dedicata. forse solo 512gb / sec condivisi tra Grace e la Gpu.

Per il resto non abbiamo nessun dettaglio sulla potenza della Gpu, poi magari mi sbaglio

[pengfei]

Originariamente inviato da Aznable

Dov'è la fregatura?

La fregatura sono i 128gb di memoria unificata che non avranno la banda di una scheda dedicata. forse solo 512gb / sec condivisi tra Grace e la Gpu.

Per il resto non abbiamo nessun dettaglio sulla potenza della Gpu, poi magari mi sbaglio

Scartabellando un po' le specifiche NVIDIA dà come picco della 4090 1300 tflops in fp8 sfruttando la sparsity feature, la 4090 non supporta fp4 ma la 5090 sì quindi dovrebbe andare decisamente di più di questo supercoso a parità di condizioni di test, alla fine il vantaggio vero mi pare la quantità di RAM, del resto c'era da aspettarselo vedendo le dimensioni di questo rispetto anche solo ad un alimentatore in grado di reggere una 5090

[s12a]

https://www.nvidia.com/en-us/project-digits/

Qui vengono menzionati 1 PetaFLOPS in FP4, dunque circa 250 TFLOPS in FP16, circa il livello di una 3090. La banda di memoria sarà verosimilmente molto più bassa, forse la metà o giù di lì nel caso migliore (se non un quarto). Non è decisamente hardware da 3000 dollari + tasse.