Costa la metà ed è più potente: tra AMD Strix Halo ed NVIDIA DGX Spark non c'è partita

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...ta_146085.html

GMKtec ha presentato EVO-X2, mini-PC basato su APU AMD Strix Halo, dichiarando prestazioni superiori al sistema NVIDIA DGX Spark in diversi carichi di lavoro AI. Nei test interni, il processore Ryzen AI Max+ 395 ha superato il chip GB10 in velocità di generazione e latenza, per un rapporto prezzo/prestazioni nettamente più favorevole

Click sul link per visualizzare la notizia.

[Max Power]

"Winner"

Si portano avanti

[Opteranium]

strix halo è un bel mostriciattolo ma ancora sul mercato praticamente non si è visto, forza avanti che aspettate..!

[supertigrotto]

Penso sia una fake news altrimenti se fosse vera,GMKtec deve essere eliminata a tutti i costi insieme ad AMD.

[WarSide]

Sono ottime macchine, ma per l'inferenza sono ancora lente. 10tok/s son pochi ahimé.

Spenderei anche il doppio per qualcosa che vada il doppio, se ci fosse

[zerbit]

Originariamente inviato da WarSide

Sono ottime macchine, ma per l'inferenza sono ancora lente. 10tok/s son pochi ahimé.

Spenderei anche il doppio per qualcosa che vada il doppio, se ci fosse

10 tok/s è tanta roba, il problema è la RAM insufficiente che ti limita nel caricare modelli Q4_K_M o peggio e poco contesto in sola inferenza; mentre in apprendimento non possono proprio farcela a gestire FP16 o FP32 ne come RAM ne come potenza di calcolo.
Un anno fa avere 16GB sembrava tanto, ora stanno sdoganando mini pc con 128GB. E' solo questione di domanda offerta: se il mercato vuole hardware con controller che pilotano più dei 192GB max in ambito consumer, vedrai che presto arriveranno mobo/cpu con tanti canali e non solo 2; e se tra un annetto o due sti cosi arrivassero a montare 8 banchi da 128GB allora si che l'inferenza locale sarà abbastanza da far dimenticare a tutti i servizi cloud. Magari anche a "solo" 10 tok/s. Il mercato c'è.. quando nvidia avrà finito di spremere i compratori datacenter, li manderà tutti in bancarotta vendendo a noi acceleratori AI.. ( spero.. ;-) )

[WarSide]

Io problema è che anche avendo 256gb di RAM, non c'è la fai. Anche se quantizzi la GPU non ci sta dietro.

Per l'addestramento si usa altro, quello è certo, ma anche solo per l'inferenza avere un aggeggio simile 2x/4x le perf con 256/512GB di ram HBM sarebbe tanta roba. Spenderei volentieri 8/10k per una conf da 512 con perf. accettabili (50tok in su senza quantizzazione assurda)

[zappy]

Originariamente inviato da zerbit

... se il mercato vuole hardware con controller che pilotano più dei 192GB max in ambito consumer, ...

l'ambito consumer vuole una scatola per guardare i filmini su yt e postare gattini su FB.
cosa per cui bastano e avanzano 4GB di ram, se non si usano SO fatti apposta per inchiappettare l'untente.

[k0nt3]

Originariamente inviato da Opteranium

strix halo è un bel mostriciattolo ma ancora sul mercato praticamente non si è visto, forza avanti che aspettate..!

Sul mercato oltre a GMKtec ci sono anche prodotti HP, Asus e il mini pc di Framework, aquistabili oggi. Ora prova a comprare un DGX Spark

[stelestele]

Originariamente inviato da k0nt3

Sul mercato oltre a GMKtec ci sono anche prodotti HP, Asus e il mini pc di Framework, aquistabili oggi. Ora prova a comprare un DGX Spark

Hai dei riferimenti su alcune macchine?

[k0nt3]

Originariamente inviato da stelestele

Hai dei riferimenti su alcune macchine?

Mini pc framework: https://frame.work/it/en/desktop?slu...x300&tab=specs
Altrimenti basta che cerchi "amd ai max" nei vari store. Per esempio si trovano laptop come lo ZBook Ultra G1a di HP o ROG Flow Z13 di Asus, entrambi configurabili con AI Max+ 395