NVIDIA Vera Rubin: numeri impressionanti non solo per le prestazioni, ma anche per i prezzi

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/server...zi_153869.html

In previsione delle prime consegne previste per il terzo trimestre di quest'anno, sono emerse le prime distinte del rack Vera Rubin di NVIDIA, ma con prezzi più alti rispetto a quanto preventivato

Click sul link per visualizzare la notizia.

[Rubberick]

beh la cosa buona di tutto questo è che quando finirà l'hype e la spinta ci sarà un rimbalzo do scheda e tecnologie a miglior mercato

se ora la memoria è introvabile tra x tempo avremo un salto di 2 generazioni in avanti

[supertigrotto]

E vediamo se manterranno le promesse,secondo Huang e il suo reparto marketing,Vera Rubin è costato anni e anni di progettazione cambiando parametri di progettazione,facendo tutto da zero,insomma,durante la presentazione era tutta una sviolinata su quanto ce l'hanno lungo.....vediamo se sapranno come usarlo e se funziona bene.
Da uno dei superstalloni della IA mi aspetto prestazioni superiori a Rocco.
Vediamo come si comporta rispetto alla concorrenza.......

[NeroCupo]

Azz...
Una singola CPU o GPU montate su questa scheda ha un TDP di circa 2.000 watt
Il che significa che una singola scheda ha bisogno di 108 x 2000 = 216 kW !!!
Ma che razza di dissipatori hanno?

Da un'AI:

I processori della piattaforma NVIDIA Vera Rubin, sia le GPU che i CPU, raggiungeranno un TDP (Thermal Design Power) di fino a 1.800W per chip, con possibili incrementi fino a 2300W.

...'spetta, ma non si capisce bene dall'articolo: ci sono 108 CPU+GPU per scheda o per rack?

[coschizza]

Originariamente inviato da NeroCupo

Azz...
Una singola CPU o GPU montate su questa scheda ha un TDP di circa 2.000 watt
Il che significa che una singola scheda ha bisogno di 108 x 2000 = 216 kW !!!
Ma che razza di dissipatori hanno?

Da un'AI:

...'spetta, ma non si capisce bene dall'articolo: ci sono 108 CPU+GPU per scheda o per rack?

Per rack

[Apple80]

Vera Rubin è nata per ottimizzare l'efficenza energetica grazie ad aver creato una cpiu e un sitema di networking che azzera quasi le latenze,in modo che tra i vari chip non siano più tempi di attesa (come stare con un auto accesa al semaforo rosso). Olre a questo è già predispsoto di un impianto a liquidio dova passa acqua a 45 gradi per raffreddarlo,quindi si risparmia nell'installazione di impianti di refrigerazioni che consumano anche loro molta energia. Cosi facendo si riducono anche le ventole di raffreddamento.
l'installazione di un rack ,richiede circa 2 ore contro i 2 giorni dei rack blackweel o della concorrenza ,per via che non si devono più usare decine e decine di cavi tra un rack e l'latro, meno cavi ,meno corrente che si consuma.

Visto che un rack NVL72 vale come 10 black well. si possono ridurre del 90% lo spazio richiesto. non più enormi capannoni ,ma stazne più compatte con un sistema snello.

nvidia ha realizzato un capolavoro. ha dei contratti anche con BMW e Mercedes ,per poter introdurre gli umanoidi nelle loro fabbriche. Grazie ad aver ridotto di molto i lag e le latenze,Vera Rubin puo' gestire umanoidi in modo efficiente.

Non è solo questo. Vera Rubin sarà utilizzato anche nel campo della fisica e dell'osservazione dell'universo ,perchè ,a quanto dicono,ha la capacità di comprendere meglio l'universo e magari darci risposte che oggi ancora ci sfuggono. Questo è l'obiettivo di xAI.

In ogni modo i vantaggi che ha raggiunto nvidia con NVL72 è efficiengza energetica,compatezza,e una potenza di ragionamento mai visto fin'ora.

Grazie a questo nvidia è ora avanti di una generazione e mezza.

Questo è tutto quello ceh ho trovato online come informazioni.

[AceGranger]

Originariamente inviato da supertigrotto

E vediamo se manterranno le promesse,secondo Huang e il suo reparto marketing,Vera Rubin è costato anni e anni di progettazione cambiando parametri di progettazione,facendo tutto da zero,insomma,durante la presentazione era tutta una sviolinata su quanto ce l'hanno lungo.....vediamo se sapranno come usarlo e se funziona bene.
Da uno dei superstalloni della IA mi aspetto prestazioni superiori a Rocco.
Vediamo come si comporta rispetto alla concorrenza.......

ma non ti stanchi mai di scrivere ste perle sotto OGNI post di nvidia ? ma da quanti anni lo stai facendo ? cristo, complimenti per la costanza

è un lustro che paventi di questa concorrenza, ma QUALE concorrenza ? ma di chi/cosa stai parlando ?
forse di quelli che vendono qualche cosa perche non tutti i clienti riescono ad acquistare nVidia e quindi ripiegano su quello che rimane o quelli che si fanno qualche sistema in casa che pero è specifico per qualche compito e poi finiscono per acquistare comunque per il 90% dei loro sistemi nVidia ?


bho senza senso della realta.

[mmorselli]

Originariamente inviato da Rubberick

se ora la memoria è introvabile tra x tempo avremo un salto di 2 generazioni in avanti

E' per il nostro bene, ci salva da acquisti compulsivi

[mmorselli]

Originariamente inviato da Apple80

perchè ,a quanto dicono,ha la capacità di comprendere meglio l'universo e magari darci risposte che oggi ancora ci sfuggono.

Vabbè, questo è il linguaggio del giornalismo da quattro soldi, come se il chip avesse qualche capacità intrinseca che non sia fare operazioni matriciali.

[mmorselli]

Originariamente inviato da AceGranger

è un lustro che paventi di questa concorrenza, ma QUALE concorrenza ?

AMD Instinct, le TPU di Google, anche Groq sebbene non si possa più parlare di concorrenza dopo che nVidia ci ha messo 20 miliardi.

Il vantaggio di Vera Rubin è che si tratta ancora di un sistema general-purpose, ci puoi fare di tutto, ma il problema è che oggi le aziende non vogliono fare di tutto, vogliono fare inferenza, e le soluzioni specializzate sono molto più efficienti di quelle nVidia.

La gente non le compra "perché non è riuscita a comprare nVidia", ma perché ha applicazioni che non sono legate a CUDA.

Poi ci sono i Cinesi, ai quali nVidia ha offerto le GPU e loro hanno risposto "no grazie, andiamo su Huawei". I chip Ascend sono parecchio meno potenti di quelli nVidia, ma siccome lo sapevano hanno giocato con altre regole e hanno ottimizzato il clustering, col risultato che è possibile fare un cluster Ascend più potente di un cluster nVidia, al prezzo ovviamente di occupare più spazio e consumare più energia, ma stiamo parlando di Cina, hanno abbondanza di entrambi.

[supertigrotto]

Originariamente inviato da AceGranger

ma non ti stanchi mai di scrivere ste perle sotto OGNI post di nvidia ? ma da quanti anni lo stai facendo ? cristo, complimenti per la costanza

è un lustro che paventi di questa concorrenza, ma QUALE concorrenza ? ma di chi/cosa stai parlando ?
forse di quelli che vendono qualche cosa perche non tutti i clienti riescono ad acquistare nVidia e quindi ripiegano su quello che rimane o quelli che si fanno qualche sistema in casa che pero è specifico per qualche compito e poi finiscono per acquistare comunque per il 90% dei loro sistemi nVidia ?


bho senza senso della realta.

No che non mi stanco, finché continuano con questa divinizzazione di Nvidia.
Quale concorrenza?
Guarda nessuna, c'è solo nvidia;Cerebras,Groq (lpu),Google (tpu),AWS (trainium e inferentia) fanno talmente schifo che l'anno prossimo chiudono tutti e se ne vanno al mare.
Per me, i proclami da bar trovano il tempo che trovano,per me contano i fatti,loro ai mass media dicono che hanno il prodotto più meglio del più meglio del più meglio (sarcasmo) e allora che lo dimostrino,al di fuori dell' ambiente CUDA però,visto che concorre a viziare il mercato.
Te lo dico dall'alto dei miei 6 anni e mezzo,stufo di sentire ferraristi,PlayStationari,iphonari,ducatisti la stessa nenia,noi siamo e abbiamo il più meglio (sarcasmo)
Ti ho risposto in maniera sarcastica per farti capire che alle leggende da bar (i proclami delle aziende e giornalistiche) io ci credo poco

[supertigrotto]

Originariamente inviato da mmorselli

AMD Instinct, le TPU di Google, anche Groq sebbene non si possa più parlare di concorrenza dopo che nVidia ci ha messo 20 miliardi.

Il vantaggio di Vera Rubin è che si tratta ancora di un sistema general-purpose, ci puoi fare di tutto, ma il problema è che oggi le aziende non vogliono fare di tutto, vogliono fare inferenza, e le soluzioni specializzate sono molto più efficienti di quelle nVidia.

La gente non le compra "perché non è riuscita a comprare nVidia", ma perché ha applicazioni che non sono legate a CUDA.

Poi ci sono i Cinesi, ai quali nVidia ha offerto le GPU e loro hanno risposto "no grazie, andiamo su Huawei". I chip Ascend sono parecchio meno potenti di quelli nVidia, ma siccome lo sapevano hanno giocato con altre regole e hanno ottimizzato il clustering, col risultato che è possibile fare un cluster Ascend più potente di un cluster nVidia, al prezzo ovviamente di occupare più spazio e consumare più energia, ma stiamo parlando di Cina, hanno abbondanza di entrambi.

Bravo hai detto bene, CUDA,uno strumento criticato anche da qualche grosso nome del settore e non sto parlando di Intel o AMD.
Per quel che hai detto sul general purpouse è quello che dice IBM da anni,si è iniziato con il general pourpose ma ora come ora, è diventato stretto e inefficiente,ci vogliono strumenti precisi ed è quello che gli altri stanno facendo.

[ionet]

Originariamente inviato da Rubberick

beh la cosa buona di tutto questo è che quando finirà l'hype e la spinta ci sarà un rimbalzo do scheda e tecnologie a miglior mercato

se ora la memoria è introvabile tra x tempo avremo un salto di 2 generazioni in avanti

spero, con tutto l'immane investimento fatto per le AI, che le memorie HBM vengono definitivamente sbolognate anche per l'HW domestico
come ai tempi di Vega insomma, magari non le ultime per i data center ad ampio margine, ma almeno le penultime

Originariamente inviato da Apple80

Vera Rubin è nata per...

Questo è tutto quello ceh ho trovato online come informazioni.

praticamente presa da un volantino/depliant promozionale

ma seriamente, sento spesso dire che il vero strapotere Nvidia e' CUDA
ma se oggi gli umani(molto restii a cambiare) programmano sempre meno grazie alle AI, ma non e' possibile dare in pasto alle AI HW non Nvidia e ottimizzare per loro

[Apple80]

Originariamente inviato da ionet

praticamente presa da un volantino/depliant promozionale

Il volantino e depliant è quello di nvidia Omniverse

E tutto questo è quello che potrà
realizzare Vera Rubin. Essendo che bastano magari una decina di rack,al posto di 100 , è più facile da installare in ambienti più piccoli e senza bisongo di impianti di refrigerazione. Olttre che ha fare cose che il bleckwell non riesce a fare in modo cosi efficente e preciso senza lag.

https://www.nvidia.com/it-it/omniverse/


https://www.nvidia.com/it-it/industr...tive/partners/

https://www.nvidia.com/it-it/solutio...ners/mercedes/

[mmorselli]

Originariamente inviato da ionet

ma non e' possibile dare in pasto alle AI HW non Nvidia e ottimizzare per loro

Sì, è possibile, ma se vuoi lavorare su applicazioni complesse con l'AI non puoi andare di vibe coding come faresti per un giochino in javascript, devi capire di cosa si sta parlando, e ci sono un sacco di concetti molto nuovi da imparare, per quanto estremamente affascinanti. L'autore di Redis, Salvatore Sanfilippo, probabilmente nella rosa dei migliori programmatori al mondo, sta riscrivendo tutta l'inferenza di DeepSeek 4 migliorandola su tanti aspetti, e a detta sua il 90% del codice lo sta scrivendo l'AI, però l'AI implementa le cose che lui gli sta dicendo, non si inventa nulla, può farlo perché quelle cose le ha studiate e le conosce bene.

Ovviamente parliamo di modelli aperti, non puoi riscrivere l'inferenza di GPT 5.4

[AceGranger]

Originariamente inviato da mmorselli

AMD Instinct, le TPU di Google, anche Groq sebbene non si possa più parlare di concorrenza dopo che nVidia ci ha messo 20 miliardi.

AMD Instinct e le TPU di Google rientrano esattamente enei miei 2 casi citati sopra, e ci sono i dati sui market share e i fatturati a parlare; AMD di Instinct ne vende uno sputo, si parlera di un rapporto 1 Vs 1000 con nVidia e Google sta continuando ad acquistare vagonate di GPU nVidia e ci sta pure sviluppando assieme la rete di interconnessione.

Originariamente inviato da mmorselli

Il vantaggio di Vera Rubin è che si tratta ancora di un sistema general-purpose, ci puoi fare di tutto, ma il problema è che oggi le aziende non vogliono fare di tutto, vogliono fare inferenza, e le soluzioni specializzate sono molto più efficienti di quelle nVidia.

cosa vogliano le aziende credo lo dicano i fatturati di chi vende.... se la concorrenza "diretta" fattura uno sproposito e l'indiretta acquista comunque nVidia pur facendosi cose specifiche in casa... evidentemente, al netto delle solite sparte di marketing hanno un vantaggio netto verso gli altri che attualmente NESSUNO sta riuscendo a scalfire.

Originariamente inviato da mmorselli

La gente non le compra "perché non è riuscita a comprare nVidia", ma perché ha applicazioni che non sono legate a CUDA.

sono gli altri a non avere CUDA, mentre le nVidia possono far girare qualsiasi cosa.... se fosse come dici tu i fatturati e le GPU vendute sarebbero differenti.

Originariamente inviato da mmorselli

Poi ci sono i Cinesi, ai quali nVidia ha offerto le GPU e loro hanno risposto "no grazie, andiamo su Huawei". I chip Ascend sono parecchio meno potenti di quelli nVidia, ma siccome lo sapevano hanno giocato con altre regole e hanno ottimizzato il clustering, col risultato che è possibile fare un cluster Ascend più potente di un cluster nVidia, al prezzo ovviamente di occupare più spazio e consumare più energia, ma stiamo parlando di Cina, hanno abbondanza di entrambi.

poi questa viene da un mondo parallelo, visto che nel mondo reale le aziende Cinesi sono andate da Huawei perchè sono anni che c'è un embargo sulle GPU server e il "rifiuto" della concessione delle H200 è per ovvie ragioni politiche e di sicurezza, visto che l'embargo non è finito e si tratta di una concessione con nmila vincoli che, fra l'altro, puo sparire da un giorno all'altro, visto il soggetto politico d'oltre oceano...

[mmorselli]

Originariamente inviato da AceGranger

AMD Instinct e le TPU di Google rientrano esattamente enei miei 2 casi citati sopra, e ci sono i dati sui market share e i fatturati a parlare; AMD di Instinct ne vende uno sputo

Ma cos'è? Una gara? Si parlava di concorrenza, e quella è la concorrenza. Se regge il dominio nVidia è prima di tutto perché nVidia non dorme e sa che la concorrenza esiste, e agisce di conseguenza, non è che sta lì a farsi fregare quote di mercato. Secondo perché questa concorrenza esiste da pochissimo e un ecosistema non si cambia velocemente, però si può cambiare, i rapporti di forza cambiano spesso nella tecnologia, pensa ad Intel quando dominava il mondo e ora che è costretta a rincorrere.

Spero non ci siano in fanboy nVidia pure quando si parla di hardware che la gente normale non vedrà mai nemmeno dietro una vetrina.

cosa vogliano le aziende credo lo dicano i fatturati di chi vende....

Le aziende vogliono spendere meno, non stiamo parlando di iPhone dove magari c'è chi lo compra proprio perché costa tanto, per status, qui chi riesce a proporre qualcosa che ottiene lo stesso risultato ad un prezzo più basso ha vinto. Fino ad oggi non hanno avuto molta scelta, ma i monopoli sono anomalie, è molto difficile mantenerli. Ogni mercato ha come minimo un leader e un co-leader.

poi questa viene da un mondo parallelo, visto che nel mondo reale le aziende Cinesi sono andate da Huawei perchè sono anni che c'è un embargo sulle GPU server e il "rifiuto" della concessione delle H200 è per ovvie ragioni politiche e di sicurezza

E' stato uno dei più grandi errori degli USA negli ultimi tempi, fa sempre parte di quelle cose che vorresti dire "ma come hanno fatto a non pensarci?"

La Cina sta certamente rifiutando le GPU nVidia per questioni politiche, non vuole dipendere dagli USA su cose così strategiche, ma se lo fa è perché ha capito che può farne a meno, non è che lo fa per dispetto. Questo per dire che la concorrenza la puoi fare anche con hardware meno potente, basta che costi meno e arrivi allo stesso risultato, magari per vie diverse.

[Apple80]

Da quanto ho capito , non è cosi facile rimpiazzare tutto quello che nvidia ha creato. Perchè vorrebbe dire ripartire da zero riscrivendo migliaia di righe di codice. Ormai il mercato è di nvidia.

La cosa importante è che lavori bene per migliorare l'efficena. E il rack NVL72 sono la risposta che tutti si aspettavano. Riduzione del consumo energetico ,anche sotto l'aspetto degli impianti di refrigerazione, per esempio quelli fatti da Vertiv. QUindi ,basta capannoni , basta impianti da 150 megawatt e chilometri di cavi per collegare i rack , e installazione di programmi e software per farli comunicaer. Ora ti vendono tutto chiavi in mano dove basta dell'acqua a 45 gradi per raffreddarlo.

Sono riusciti a raggiungere questo obbiettivo grazie ad aver fatto collaborare tra loro gli ingegneri delle diverse sezioni. CPU GPU e Networking collegati tra loro per creare un'unico enorme processore efficentissimo. QUesto metodo ha dimostrato ,come superare il limite dei famosi nanometri per metterci più transisstor e miglorando di molto l'efficenza energetica,senza che i vari chip restino attivi mentre attendono i vari input.

Volete comprare un auto che costa 10000 euro facendo 100 chilometri con 10 litri e dover avere continua manutenzione , o una da 30000 che vi fa i 100 comn un 1 litro e dove richiede meno manutenzione e organi che potrebbero rompersi (impianti di climatizzaione enormi da stargli dietro pulendo ventole e radiatori). Senza contare che tempo una settimana , il server è operativo rispetto magari a un mese o due ,perdendo profitto in questi due mesi,oltre a consumi assurdi di energia anche per raffreddare.

Con Vera Rubin è come avere la moglie ubriaca e la botte sempre piena.

QUesto video mostra i collegamenti dei chip con la fibra ottica

https://www.youtube.com/watch?v=kS8r7UcexJU

Secondo me nvidia ,stavolta , ha fatto un capolavoro che nessunaltro si è sognato di fare,costoso si, ma il prezzo si ammortizza nel giro di un anno o due quando le aziende che utilizzaeranno Vera Rubin , diranno quanto hanno risparmiato in corrente elettrica. QUesto col tempo potrà far crollare i prezzi di lisitino per l'utilizzo dell'IA allargando la clientela.

[mmorselli]

Originariamente inviato da Apple80

Da quanto ho capito , non è cosi facile rimpiazzare tutto quello che nvidia ha creato. Perchè vorrebbe dire ripartire da zero riscrivendo migliaia di righe di codice.

Non proprio, se scrivi applicazioni AI, per esempio l'inferenza o il training per un tuo modello, tu non usi CUDA, tu usi librerie come PyTorch o TensorFlow, che sono multivendor, ma con un supporto CUDA molto più maturo. Se trovano una GPU nVidia parte CUDA e tutto andrà meglio e più veloce.

Gente del calibro di Meta, Google, Microsoft, che in genere sono i creatori di queste librerie, non è che siano molto felici di legarsi mani e piedi ad un solo vendor, per cui se continuano a supportare, per esempio, ROCm (il CUDA di AMD) prima o dopo qualunque software raggiunge la maturità, e per gli sviluppatori è un drop-in replacement, cioè il tuo programma Python cambia poco o nulla, fa tutto la libreria che installa.

Un po' come Proton, dai e dai alla fine ci è arrivato a far girare bene i giochi su Linux, è solo questione di tempo. In più ricordatevi sempre di gente come Alibaba, ByteDance, quelli sono gli attori che più di ogni altro hanno interesse a "liberare" il software da CUDA, e hanno una potenza di fuoco straordinaria.

[Apple80]

Originariamente inviato da mmorselli

Non proprio, se scrivi applicazioni AI, per esempio l'inferenza o il training per un tuo modello, tu non usi CUDA, tu usi librerie come PyTorch o TensorFlow, che sono multivendor, ma con un supporto CUDA molto più maturo. Se trovano una GPU nVidia parte CUDA e tutto andrà meglio e più veloce.

lli sono gli attori che più di ogni altro hanno interesse a "liberare" il software da CUDA, e hanno una potenza di fuoco straordinaria.

Ah ok. Quindi si possono utilizzare modelli differenti sulla tecnologia Nvidia. Ho letto poco fa del Deep Seek 4.0 che potrebbe , rallentare le vendite dei rack nvidia. Il problema è questo ,per quanto Gemini Pro mi ha spiegato.. Magari puoi confermarlo.

Deep Seek 4.0 puo' bypassare la potenza dei rack Vera Rubin di Nvidia ?

A prima vista potresti pensare: "Se serve meno potenza di calcolo, Microsoft e Google compreranno meno chip Blackwell o Vera Rubin". Questo è il più grande errore logico che si possa fare sui mercati.

In economia esiste una legge chiamata Paradosso di Jevons: quando l'efficienza tecnologica aumenta il consumo di una risorsa, la domanda totale di quella risorsa non diminuisce, ma aumenta perché diventa più economica e accessibile. Esplosione dei Software Agent: Poiché far girare l'IA ora costa pochissimo, le aziende mondiali integreranno agenti AI ovunque (in ogni app, computer, fabbrica). Il volume totale di calcoli richiesti nel mondo si moltiplicherà per 10.000.

I Cloud Provider hanno bisogno di più silicio: Per supportare questa mole immensa di richieste simultanee da tutto il pianeta, Microsoft, Meta e Amazon dovranno comunque comprare quanti più chip possibili da NVIDIA.

La prova schiacciante: Chi c'è dietro DeepSeek V4?

La community retail si dimentica di guardare dove gira questo modello. Se vai a controllare la documentazione ufficiale di DeepSeek V4 rilasciata su Hugging Face, indovina qual è l'infrastruttura consigliata e utilizzata per l'ottimizzazione e il deployment commerciale? NVIDIA NIM (NVIDIA Inference Microservices).

DeepSeek è un software. Per essere addestrato ed eseguito a bassissima latenza (viaggia a oltre 40 token al secondo), ha bisogno di cluster sterminati di GPU. Più i modelli open-source come DeepSeek diventano efficienti e potenti, più costringono OpenAI e Google a comprare frotte di chip Blackwell e Rubin per cercare di rimanere in testa alla corsa agli armamenti.


Quindi nvidia non dovrebbe preoccuparsi di Deep Seek V4 ,anzi , potrebbe accelerare le vendite. E come ogni tecnoligia ,come le automobili 1 secolo fa. O la tv quando in pochissimi potevano permettersela., Vera Rubin con Deep Seek 4.0 , miglioreranno talmente tanto l'efficienza energetica, che l'intelligenza artificiale si diffonderà in modo esponenziale ,prezzi più bassi alla portata di più.