NVIDIA DGX Spark vs AMD Strix Halo: confronto tra i due giganti dell'IA

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ia_146085.html

GMKtec ha presentato EVO-X2, mini-PC basato su APU AMD Strix Halo, dichiarando prestazioni superiori al sistema NVIDIA DGX Spark in diversi carichi di lavoro AI. Per quanto nei carichi più pesanti il DGX Spark appaia nettamente più a suo agio, il processore Ryzen AI Max+ 395 ha superato il chip GB10 in velocità di generazione e latenza

Click sul link per visualizzare la notizia.

[Max Power]

"Winner"

Si portano avanti

[Opteranium]

strix halo è un bel mostriciattolo ma ancora sul mercato praticamente non si è visto, forza avanti che aspettate..!

[supertigrotto]

Penso sia una fake news altrimenti se fosse vera,GMKtec deve essere eliminata a tutti i costi insieme ad AMD.

[WarSide]

Sono ottime macchine, ma per l'inferenza sono ancora lente. 10tok/s son pochi ahimé.

Spenderei anche il doppio per qualcosa che vada il doppio, se ci fosse

[zerbit]

Originariamente inviato da WarSide

Sono ottime macchine, ma per l'inferenza sono ancora lente. 10tok/s son pochi ahimé.

Spenderei anche il doppio per qualcosa che vada il doppio, se ci fosse

10 tok/s è tanta roba, il problema è la RAM insufficiente che ti limita nel caricare modelli Q4_K_M o peggio e poco contesto in sola inferenza; mentre in apprendimento non possono proprio farcela a gestire FP16 o FP32 ne come RAM ne come potenza di calcolo.
Un anno fa avere 16GB sembrava tanto, ora stanno sdoganando mini pc con 128GB. E' solo questione di domanda offerta: se il mercato vuole hardware con controller che pilotano più dei 192GB max in ambito consumer, vedrai che presto arriveranno mobo/cpu con tanti canali e non solo 2; e se tra un annetto o due sti cosi arrivassero a montare 8 banchi da 128GB allora si che l'inferenza locale sarà abbastanza da far dimenticare a tutti i servizi cloud. Magari anche a "solo" 10 tok/s. Il mercato c'è.. quando nvidia avrà finito di spremere i compratori datacenter, li manderà tutti in bancarotta vendendo a noi acceleratori AI.. ( spero.. ;-) )

[WarSide]

Io problema è che anche avendo 256gb di RAM, non c'è la fai. Anche se quantizzi la GPU non ci sta dietro.

Per l'addestramento si usa altro, quello è certo, ma anche solo per l'inferenza avere un aggeggio simile 2x/4x le perf con 256/512GB di ram HBM sarebbe tanta roba. Spenderei volentieri 8/10k per una conf da 512 con perf. accettabili (50tok in su senza quantizzazione assurda)

[zappy]

Originariamente inviato da zerbit

... se il mercato vuole hardware con controller che pilotano più dei 192GB max in ambito consumer, ...

l'ambito consumer vuole una scatola per guardare i filmini su yt e postare gattini su FB.
cosa per cui bastano e avanzano 4GB di ram, se non si usano SO fatti apposta per inchiappettare l'untente.

[k0nt3]

Originariamente inviato da Opteranium

strix halo è un bel mostriciattolo ma ancora sul mercato praticamente non si è visto, forza avanti che aspettate..!

Sul mercato oltre a GMKtec ci sono anche prodotti HP, Asus e il mini pc di Framework, aquistabili oggi. Ora prova a comprare un DGX Spark

[stelestele]

Originariamente inviato da k0nt3

Sul mercato oltre a GMKtec ci sono anche prodotti HP, Asus e il mini pc di Framework, aquistabili oggi. Ora prova a comprare un DGX Spark

Hai dei riferimenti su alcune macchine?

[k0nt3]

Originariamente inviato da stelestele

Hai dei riferimenti su alcune macchine?

Mini pc framework: https://frame.work/it/en/desktop?slu...x300&tab=specs
Altrimenti basta che cerchi "amd ai max" nei vari store. Per esempio si trovano laptop come lo ZBook Ultra G1a di HP o ROG Flow Z13 di Asus, entrambi configurabili con AI Max+ 395