NVIDIA GB10 Grace Blackwell: il 'piccolo' Superchip che vuole cambiare l’AI domestica

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/cpu/nv...ca_142608.html

NVIDIA ha svelato l'architettura del GB10 Grace Blackwell Superchip durante la conferenza Hot Chips 2025. Frutto della collaborazione con MediaTek, integra una CPU Arm con 20 core e GPU Blackwell in un package 2.5D a 3 nanometri. È il cuore della workstation DGX Spark, pensata per lo sviluppo locale di modelli di intelligenza artificiale.

Click sul link per visualizzare la notizia.

[LMCH]

Originariamente inviato da Redazione di Hardware Upgrade

Link alla notizia: https://www.hwupgrade.it/news/cpu/nv...ca_142608.html

Il GB10 Grace Blackwell Superchip ha un TDP di 140 W e, nonostante la compattezza, può funzionare tramite una comune presa domestica, una caratteristica che lo rende adatto anche a laboratori e ambienti non server.

La frase sopra sembra descrivere un coso con una presa 220 VAC collegata direttamente al "superchip".

[WarSide]

Troppo poco potente e troppa poca banda ad un prezzo assurdo. Meglio comprare una GPU discreta o andare di nettop con un AMD Ryzen AI Max+ 395 e 128GB di ram.

Ci sono soluzioni come il mini desktop pc di framework o il Gmktec evo-x2 che si possono comprare con meno di 2k$ invece di spenderne 4k per il GB10

[CrapaDiLegno]

Originariamente inviato da WarSide

Troppo poco potente e troppa poca banda ad un prezzo assurdo. Meglio comprare una GPU discreta o andare di nettop con un AMD Ryzen AI Max+ 395 e 128GB di ram.

Ci sono soluzioni come il mini desktop pc di framework o il Gmktec evo-x2 che si possono comprare con meno di 2k$ invece di spenderne 4k per il GB10

Sembri Giovanni nella mitica frase "il mio falegname lo faceva meglio con 30.000 lire".
Comparare questa bestia con un Ryzen AI Max che non ha manco le unità matriciali. Da su, un po' di dignità. E' inutile che si continui a dire che c'è una alternativa valida a prezzo inferiore alle proposte Nvidia. Quelle che ci sono sono tutte zoppe e non sono comunque regalate. Se uno investe, investe in qualcosa che funziona e lo fa dal primo giorno, non in giocattoli ben reclamizzati che poi serve più tempo a configurarli o farli funzionare decentemente, sempre che poi funzionino con le applicazioni che uno vuole usare. La proposta che hai menzionato, oltre a fare schifo di suo, non scala nemmeno a un x2.
Le GPU consumer di AMD poi non dovrebbero neanche mai essere nominate affianco alla parola AI

[noc77]

Anche a me sembra un po' caro, forse non mi e' chiara la sua potenzialita' e scalabilita'.

[CrapaDiLegno]

Originariamente inviato da noc77

Anche a me sembra un po' caro, forse non mi e' chiara la sua potenzialita' e scalabilita'.

E molto semplice.
Tenendo conto che la cosa più vicina a questo SoC è il Ryzen AI Max 395, il costo è dovuto a:
1. è una macchina professionale e ti viene dato anche il supporto SW
2. ha una capacità di 1000TOPS a FP4 (quindi suppongo anche NVFP4), che è una quantizzazione sufficiente per l'inferenza. Compara i 1000 TOPS con 60 TOPS FP16 (la quantizzazione minima supporta in HW dalla GPU AMD) del Ryzen sopra nominato.
3. La banda di memoria è superiore a quella del SoC AMD sopra nominato
4. La banda CPU-GPU di GB10 è 8 volte quella del SoC AMD, superiore di 2 volte quella della RAM mentre nel SoC AMD è meno della metà. Questo vuol dire che con il SoC AMD hai praticamente solo numeri teorici sulla carta perché nell'uso vero avrai colli di bottiglia a non finire.
5. E' compatibile con qualsiasi libreria AI prodotta finora, e scusa se è poco
6. Se non ti bastano le performance, puoi affiancarne un altro e ottenere prestazioni x2.
7. Se fai il codice per questo coso lo puoi poi passare direttamente a un rack con 72GPU Blackwell o perfino su un server con migliaia di GPU. Il vantaggio della soluzione Nvidia che scala da 1 a centinaia di migliaia con un singolo framework è questo, al contrario di quello che può offrire AMD.
8. Qui AMD non può fare il tarocco si saturare la VRAM della GPU Nvidia con la quantizzazione peggiore (che solo lei usa perché non può fare altro) e dire che va più veloce. In un confronto simile le prenderà e sonoramente da questo GB10, quindi grazie alle menzogne di AMD, Nvidia può venderlo a prezzo maggiore di un sistema che monta una 4090.
9. Alla fine costa solo il doppio di una soluzione AMD che va meno di un decimo e non ha supporto SW. Per una azienda che vuole iniziare a fare AI in maniera seria in locale è un investimento economico rispetto a dover noleggiare delle istanze cloud per non si sa quanto tempo e con che risultati.

[WarSide]

Originariamente inviato da CrapaDiLegno

Sembri Giovanni nella mitica frase "il mio falegname lo faceva meglio con 30.000 lire".
Comparare questa bestia con un Ryzen AI Max che non ha manco le unità matriciali. Da su, un po' di dignità. E' inutile che si continui a dire che c'è una alternativa valida a prezzo inferiore alle proposte Nvidia. Quelle che ci sono sono tutte zoppe e non sono comunque regalate. Se uno investe, investe in qualcosa che funziona e lo fa dal primo giorno, non in giocattoli ben reclamizzati che poi serve più tempo a configurarli o farli funzionare decentemente, sempre che poi funzionino con le applicazioni che uno vuole usare. La proposta che hai menzionato, oltre a fare schifo di suo, non scala nemmeno a un x2.
Le GPU consumer di AMD poi non dovrebbero neanche mai essere nominate affianco alla parola AI

Dai su, parliamoci chiaro. Con quel coso non ci fai fine tuning di un modello o fai training di un LLM nuovo da 0. Con 273 GB/s di bandwidth non si va da nessuna parte.
Pensavo di comprarne un paio, ma non ne vale assolutamente la pena rispetto al comprare direttamente una RTX PRO 6000 (costerebbe 1k in più rispetto a 2 GB10 vedendo i prezzi del mio fornitore americano).

E, se si deve solo fare inferenza, a questo punto è meglio la soluzione AMD che costa meno e arriva comunque a 256 GB/s di banda contro i 270 del GB10. Le API Vulkan alla fine fanno il loro lavoro e ROCm migliora di mese in mese.

Se invece dovessi sviluppare soluzioni cuda (che abbiano a che fare con LLM), continuo a pensare che una RTX PRO 6000 sia la scelta migliore. Tanto se hai 8k per 2 GB10, hai anche 9-10k per una PRO6000.

[DevilsAdvocate]

Non confrontatelo con AMD, ma con i MAC studio M3 ed M4, che costano cifra simile ma hanno badwidth doppia e tripla a fronte di MLX che ha qualche TOPS in meno (non poi troppi).

[Ripper89]

Originariamente inviato da CrapaDiLegno

E molto semplice.
Tenendo conto che la cosa più vicina a questo SoC è il Ryzen AI Max 395, il costo è dovuto a:
1. è una macchina professionale e ti viene dato anche il supporto SW
2. ha una capacità di 1000TOPS a FP4 (quindi suppongo anche NVFP4), che è una quantizzazione sufficiente per l'inferenza. Compara i 1000 TOPS con 60 TOPS FP16 (la quantizzazione minima supporta in HW dalla GPU AMD) del Ryzen sopra nominato.
3. La banda di memoria è superiore a quella del SoC AMD sopra nominato
4. La banda CPU-GPU di GB10 è 8 volte quella del SoC AMD, superiore di 2 volte quella della RAM mentre nel SoC AMD è meno della metà. Questo vuol dire che con il SoC AMD hai praticamente solo numeri teorici sulla carta perché nell'uso vero avrai colli di bottiglia a non finire.
5. E' compatibile con qualsiasi libreria AI prodotta finora, e scusa se è poco
6. Se non ti bastano le performance, puoi affiancarne un altro e ottenere prestazioni x2.
7. Se fai il codice per questo coso lo puoi poi passare direttamente a un rack con 72GPU Blackwell o perfino su un server con migliaia di GPU. Il vantaggio della soluzione Nvidia che scala da 1 a centinaia di migliaia con un singolo framework è questo, al contrario di quello che può offrire AMD.
8. Qui AMD non può fare il tarocco si saturare la VRAM della GPU Nvidia con la quantizzazione peggiore (che solo lei usa perché non può fare altro) e dire che va più veloce. In un confronto simile le prenderà e sonoramente da questo GB10, quindi grazie alle menzogne di AMD, Nvidia può venderlo a prezzo maggiore di un sistema che monta una 4090.
9. Alla fine costa solo il doppio di una soluzione AMD che va meno di un decimo e non ha supporto SW. Per una azienda che vuole iniziare a fare AI in maniera seria in locale è un investimento economico rispetto a dover noleggiare delle istanze cloud per non si sa quanto tempo e con che risultati.

Quoto, il paragone ha poco senso.
Se il prezzo è così alto è perchè sà di non avere concorrenza diretta.
C'è anche da considerare che si tratta di una soluzione ultra compatta.

[CrapaDiLegno]

Originariamente inviato da WarSide

Dai su, parliamoci chiaro. Con quel coso non ci fai fine tuning di un modello o fai training di un LLM nuovo da 0. Con 273 GB/s di bandwidth non si va da nessuna parte.
Pensavo di comprarne un paio, ma non ne vale assolutamente la pena rispetto al comprare direttamente una RTX PRO 6000 (costerebbe 1k in più rispetto a 2 GB10 vedendo i prezzi del mio fornitore americano).

E, se si deve solo fare inferenza, a questo punto è meglio la soluzione AMD che costa meno e arriva comunque a 256 GB/s di banda contro i 270 del GB10. Le API Vulkan alla fine fanno il loro lavoro e ROCm migliora di mese in mese.

Se invece dovessi sviluppare soluzioni cuda (che abbiano a che fare con LLM), continuo a pensare che una RTX PRO 6000 sia la scelta migliore. Tanto se hai 8k per 2 GB10, hai anche 9-10k per una PRO6000.

Credo dovresti rivedere le tue conoscenze in campo.
Sei passato a dire che è meglio prendere una soluzione AMD da 2K per finire che se hai 4K da spendere allora puoi anche mettercene 8K. Direi che non ci siamo in quanto a capacità di valutare un prodotto.

AMD non serve proprio a niente. Migliorerà anche, ma sta indietro anni luce e non arriverà mai a livello di questo coso perché semplicemente non ha le unità di calcolo adatte. Può giusto andare bene per generare gattini azzurri in camera di tuo figlio. Con quei due modelli supportati.
Per quanto riguarda il paragone con una GPU AI top gamma, il mezzo qui non serve a fare certamente addestramento ed è un prodotto diverso rispetto a una workstation con una sola GPU masterrace. E costa (e consuma) infatti la metà.
Si chiama edge computing. E questo è pensato anche per chi vuole avvicinarsi al mondo AI senza dover investire un capitale ma con la possibilità di ottenere ottimi risultati iniziali. Che poi facilmente si possono espandere con un x2 o passare a quanto hai detto tu oppure direttamente con un configurazione cloud quando diviene chiaro cosa fare e cosa serve.
Oppure perché vuoi pilotare una flotta di robottini, smistare pacchi, organizzare magazzini, ottimizzare risorse in aziende e lo vuoi on premise e non soggetto alla disponibilità della rete cloud, e vuoi una cosa che funziona, scala, ed è supportata direttamente dal produttore e non da un rivenditore pinco palla (magari pure cinese) che non saprebbe come risolvere una situazione complicata, supporta qualsiasi SW sul mercato e che quindi vale quel migliaio di euro un più per non avere problemi.

Per la cameretta di tuo figlio invece basta il Ryzen AI Max super duper a "soli" 2000 euro.

[WarSide]

Originariamente inviato da CrapaDiLegno

Credo dovresti rivedere le tue conoscenze in campo.
Sei passato a dire che è meglio prendere una soluzione AMD da 2K per finire che se hai 4K da spendere allora puoi anche mettercene 8K. Direi che non ci siamo in quanto a capacità di valutare un prodotto.

AMD non serve proprio a niente. Migliorerà anche, ma sta indietro anni luce e non arriverà mai a livello di questo coso perché semplicemente non ha le unità di calcolo adatte. Può giusto andare bene per generare gattini azzurri in camera di tuo figlio. Con quei due modelli supportati.
Per quanto riguarda il paragone con una GPU AI top gamma, il mezzo qui non serve a fare certamente addestramento ed è un prodotto diverso rispetto a una workstation con una sola GPU masterrace. E costa (e consuma) infatti la metà.
Si chiama edge computing. E questo è pensato anche per chi vuole avvicinarsi al mondo AI senza dover investire un capitale ma con la possibilità di ottenere ottimi risultati iniziali. Che poi facilmente si possono espandere con un x2 o passare a quanto hai detto tu oppure direttamente con un configurazione cloud quando diviene chiaro cosa fare e cosa serve.
Oppure perché vuoi pilotare una flotta di robottini, smistare pacchi, organizzare magazzini, ottimizzare risorse in aziende e lo vuoi on premise e non soggetto alla disponibilità della rete cloud, e vuoi una cosa che funziona, scala, ed è supportata direttamente dal produttore e non da un rivenditore pinco palla (magari pure cinese) che non saprebbe come risolvere una situazione complicata, supporta qualsiasi SW sul mercato e che quindi vale quel migliaio di euro un più per non avere problemi.

Per la cameretta di tuo figlio invece basta il Ryzen AI Max super duper a "soli" 2000 euro.

Io parlo di LLM, tu di robottini. Direi che semplicemente parliamo di 2 campi di applicazione differenti. E lato LLM c'è poco da dire, bastano i benchmark.

[CrapaDiLegno]

Originariamente inviato da WarSide

Io parlo di LLM, tu di robottini. Direi che semplicemente parliamo di 2 campi di applicazione differenti. E lato LLM c'è poco da dire, bastano i benchmark.

Io parlo di applicazioni di AI in generale.
Se vuoi eseguire un chatbot non ti servono 20 core nella CPU.
E sono curioso di vedere questi benchmark del Ryzen che ha 60TOPS FP16 contro una qualsiasi altra GPU. Io non ne trovo. E non fare il furbo di saturare la VRAM della GPU per mostrare che i 4Token/s del Ryzen sono meglio dei 2Token/s della GPU ammazzata.
Se vuoi parlare di produttività, dammi un test dove il sistema è produttivo.

P.S: ci hai messo 20 minuti a rispondere al messaggio precedente dicendo nulla e ora che ti chiedo i numeri che hai detto essere esemplificativi dei vantaggi del Ryzen non ho ancora visto niente.
Sarà che non esiste un benchmark serio che dimostri che il Ryzen funziona bene, anzi da tutto quello che ho letto (e ho letto perché il SoC mi ha incuriosito fin da subito) è che tutti i sistemi di sviluppo sono in continua maturazione per cui ogni giorno c'è una novità ma che alla fine non c'è un supporto SW coerente e diffuso.
Per cui rimango dell'idea che va bene per fare i gattini azzurri, per una applicazione professionale sono 2000 euro, più tutto il tempo necessario a configurarlo per farlo funzionare decentemente, buttati al cesso.

[WarSide]

Originariamente inviato da CrapaDiLegno

Io parlo di applicazioni di AI in generale.

Si era capito. Peccato che la maggior parte della gente è interessata a questi scatolotti per farci girare LLM non quantizzati e mutilati all'inverosimile o con context window da barzelletta. Se nvidia domani tirasse fuori una 5070 con 128GB di memoria, questi cosi non se li filerebbe nessuno.

Non a caso sul sito nvidia leggo:

NVIDIA DGX Spark
Powered by the NVIDIA GB10 Grace Blackwell Superchip, NVIDIA DGX™ Spark delivers 1 petaFLOP of AI performance in a power-efficient, compact form factor. With the NVIDIA AI software stack preinstalled and 128GB of memory, developers can prototype, fine-tune, and inference the latest generation of reasoning AI models from DeepSeek, Meta, Google, and others with up to 200 billion parameters locally, and seamlessly deploy to the data center or cloud.

Vai a fare fine tune di deepseek con quel coso, poi mi rispondi quando ha finito...

[CrapaDiLegno]

Originariamente inviato da WarSide

Si era capito. Peccato che la maggior parte della gente è interessata a questi scatolotti per farci girare LLM non quantizzati e mutilati all'inverosimile o con context window da barzelletta. Se nvidia domani tirasse fuori una 5070 con 128GB di memoria, questi cosi non se li filerebbe nessuno.

Non a caso sul sito nvidia leggo:



Vai a fare fine tune di deepseek con quel coso, poi mi rispondi quando ha finito...

Mi chiedo cosa ti abbia fatto di male quel coso quando per sostituirlo hai proposto un prodotto che va meno di un decimo compatibile con un decimo dei SW costando "solo" la metà.
Quello è un prodotto che è per l'edge computing con le sue caratteristiche. Se non ne trovi tu un valore, non comprarlo. Ripeto, per generare i gattini azzurri puoi sempre usare l'APU di AMD. Attento al modello però, perché alcuni proprio non vogliono generare le immagini correttamente.
Se Nvidia lo vende a 4000 dollari sarà perché ha quel valore sul mercato e di sicuro ha la sua nicchia: quello dell'edge computing e della prototipazione di cui probabilmente ti sfugge costi e tempi.