[Thread Ufficiale] Aspettando le nuove CPU AMD Ryzen

[Ubro92]

Originariamente inviato da BitCrafter

la dgx station non è la risposta.
la dgx station ha 270BG/s di bandwidth, ridicolo direi.

la RTX6000 ha un costo stupido per usarla per IA locale vista la poca memoria, IMHO...

Ma secondo me parli di cose che non conosci...
https://www.nvidia.com/en-us/product...s/dgx-station/
https://www.nvidia.com/content/dam/e...543600-web.pdf

La DGX station arriva ad avere fino a 252GB di HBM3e (7.1 TB/s) dedicati solo alla GPU, la CPU ha una base ARM con architettura Grace a 72 core e monta fino a 496GB LPDDR5X...

Onestamente non capisco neanche il senso di questa ridondanza da giorni di voler fare paragoni tra piattaforme desktop, server e sistemi AI... Quando ognuna fa storia a sè...

[BitCrafter]

Originariamente inviato da Ubro92

Ma secondo me parli di cose che non conosci...
https://www.nvidia.com/en-us/product...s/dgx-station/

La DGX station arriva ad avere fino a 252GB di HBM3e (7.1 TB/s) dedicati solo alla GPU, la CPU ha una base ARM con architettura Grace a 72 core e monta fino a 496GB LPDDR5X...

Onestamente non capisco neanche il senso di questa ridondanza da giorni di voler fare paragoni tra piattaforme desktop, server e sistemi AI... Quando ognuna fa storia a sè...

è evidente che si parlava di DGX Spark, ho fatto un errore di nome.
la dgx station con HBM ha un costo irrealizzabile per un singolo privato.
non fate sempre i saputi

[Ubro92]

Originariamente inviato da WarSide

Perché non vuoi una cosa da consumer e, come sempre, se non hai le esigenze da consumer, devi andare su altre fasce.

Se ti bastano 96GB di ram, c'è la RTX6000 a circa 10k€. Ci sto facendo girare qwen 3.8 next flash e va più che bene.

Se ti serve far girare modelli di frontiera e non vuoi usare TP=2/4 (circa 28/70k di pc con 2/4 RTX6000), c'è la DGX Station a 115k€.

Se sei "povero" e ti accontenti di t/s nell'ordine della decina, allora vai di mac studio da 15k€ e ci fai girare GLM/DS con i vari trick di antirez.

Da quanto leggo, warside ha menzionato la DGX Station...

Inoltre Sparks è una piattaforma molto complessa che sfrutta l'Nvlink per la comunicazione tra CPU e GPU, non è un'APU convenzionale come Strix Halo.

Altrimenti 6144 cuda non li potresti mai utilizzare...

[WarSide]

Originariamente inviato da BitCrafter

è evidente che si parlava di DGX Spark, ho fatto un errore di nome.
la dgx station con HBM ha un costo irrealizzabile per un singolo privato.
non fate sempre i saputi

La Spark è un giocattolo e neanche l'ho nominata. Infatti parlavo della Station

Ma tu di preciso cosa vuoi? La botte piena e la moglie ubriaca? Anzi, rifrasando: il portafoglio pieno ed un DC in casa???

Ringrazia che Apple non ha deciso di fare 5x i prezzi dei mac studio e che qualcosa almeno si trova ancora per far girare modelli locali quasi-SOTA. Sono certo che potrebbero mettere il mac studio nuovo da 256GB / 512GB a 25/40k e la gente lo comprerebbe comunque...

Chiaro che, con gli stipendi da terzo mondo italiani, neanche la spark in casa potete pensare di comprare, ma il resto del mondo gira a velocità differenti.

[BitCrafter]

Originariamente inviato da WarSide

La Spark è un giocattolo e neanche l'ho nominata. Infatti parlavo della Station

Ma tu di preciso cosa vuoi? La botte piena e la moglie ubriaca? Anzi, rifrasando: il portafoglio pieno ed un DC in casa???

Ringrazia che Apple non ha deciso di fare 5x i prezzi dei mac studio e che qualcosa almeno si trova ancora per far girare modelli locali quasi-SOTA. Sono certo che potrebbero mettere il mac studio nuovo da 256GB / 512GB a 25/40k e la gente lo comprerebbe comunque...

Chiaro che, con gli stipendi da terzo mondo italiani, neanche la spark in casa potete pensare di comprare, ma il resto del mondo gira a velocità differenti.

e tu dove vivi sulla luna per poterti permettere una DGX Station da privato?
qui si parla di singoli privati, non di aziende dove ovviamente il discorso cambia.

posso dirti che non ti conosco, ma vedendo il ciarpame che hai venduto sui mercatini non credo che tu possa venire a farci la paternale sugli stipendi italiani dall'alto delle tue RTX6000
io quella roba non la compravo nemmeno quando ero allo stipendio minimo (e nemmeno quando ero ragazzino con la paghetta di papà che aveva lo stipendio italiano)

uno che per decenni ha venduto ciarpame sui mercatini, e lo ha fatto fino a 2 anni fa,
oggi ci viene a dare dei morti di fame e ostenta di avere 2 rtx6000 in cantina.



con questo chiudo l'OT perchè io sono qui per parlare di hardware e non certo di quello che fai tu.

[WarSide]

Originariamente inviato da BitCrafter

e tu dove vivi sulla luna per poterti permettere una DGX Station da privato?
qui si parla di singoli privati, non di aziende dove ovviamente il discorso cambia.

posso dirti che non ti conosco, ma vedendo il ciarpame che hai venduto sui mercatini non credo che tu possa venire a farci la paternale sugli stipendi italiani dall'alto delle tue RTX6000
io quella roba non la compravo nemmeno quando ero allo stipendio minimo

uno che per decenni ha venduto ciarpame sui mercatini oggi ci viene a dare dei morti di fame e paventa di avere 2 rtx6000 in cantina.

con questo chiudo l'OT perchè io sono qui per parlare di hardware e non certo di quello che fai tu.

Oddio, le comiche. Quando non si sa cosa rispondere. E tu cosa ne sai di quanti anni avevo quando vendevo quel "ciarpame"? E di cosa è successo nel frattempo?

Poveretto, non arriva all'uva e pensa che nessuno ci arrivi

Potrei postarti le foto di uno dei 2 server rack in cantina, ma non me ne può fregar di meno. Pensa quello che ti pare

Tranquillo che chiudo qui l'OT. Sia lodata l'ignore list.

[mikael84]

Originariamente inviato da WarSide

Oddio, le comiche. Quando non si sa cosa rispondere. E tu cosa ne sai di quanti anni avevo quando vendevo quel "ciarpame"? E di cosa è successo nel frattempo?

Poveretto, non arriva all'uva e pensa che nessuno ci arrivi

Potrei postarti le foto di uno dei 2 server rack in cantina, ma non me ne può fregar di meno. Pensa quello che ti pare

Tranquillo che chiudo qui l'OT. Sia lodata l'ignore list.

STOP!

[mikael84]

Non voglio essere troppo invadente e vi lascio discutere, ma non voglio altre deviazioni: l'argomento resta le prossime uscite di AMD, ovvero Zen 6!

Questo richiamo non è da quotare.

[paolo.oliva2]

Low Latency, High Hopes: AMD EXPO Ultra Low Latency Memory

https://www.lttlabs.com/articles/202...ric-of-latency

Merita la lettura.

The Fabric of Latency
AMD’s Infinity Fabric is the communication bus that connects all the parts inside the processor. Its speed is dictated by the Infinity Fabric Clock, FCLK. Ryzen is chiplet-based and the Infinity Fabric is quite literally the highway between the core complex dies (CCDs) and the I/O die which contains the memory controller(amongst other things). Every DRAM access from the cores traverses this highway, the memory controller sits on the I/O die and the Infinity Fabric is the only road to it.
There are three clocks we want to keep in a desired 1:1:1 ratio to ensure the best performance. Those clocks are the memory clock (MCLK), the memory controller clock (UCLK), and the Infinity Fabric clock (FCLK).

The golden ratio became a meaningful concept with Zen 2. On Zen 1, all three clocks – FCLK, UCLK, and MCLK – were locked to 1:1:1 by virtue of the memory controller being on the same die as the cores. Zen 2’s redesign made FCLK independently adjustable and gave UCLK a divider; penalties for pushing either clock out of sync with MCLK became apparent. A synchronous 1:1:1 was almost universally recommended. For the rest of AM4's lifespan that meant ideally choosing DDR4-3600, or DDR4-3800 on most Zen 3 chips, both of which beat DDR4-4000 running UCLK in 2:1 mode (most of the time).
Zen 4 changed this with the move to DDR5, and AMD decoupled FCLK completely; the recommendation is now to leave FCLK on Auto and keep MCLK and UCLK at 1:1. At speeds above 6000 MT/s, UCLK will automatically drop to a 1:2 mode, but the old truth still holds: a 1:1 ratio is best for performance – we confirmed this in our testing of DDR5 memory speeds.
So, this is great knowledge and all, but what does this have to do with timings? Well, because of this 1:1 sweet spot, it's been shown again and again that Ryzen doesn’t benefit from higher frequencies, so keeping that golden ratio while chasing tighter timings is the best strategy for squeezing more gains from your AMD system.
Perfect Timing
The packaging of a memory kit should look like this and have a set of four numbers; these are the memory timings. It's important to note these timings aren’t actually measured in time, but clock cycles. Our first inclination is to read these in nanoseconds, but each of these timings are how many clock cycles need to occur for each operation it describes.

In order of appearance these are:
CAS Latency (tCL): The delay between a READ command and the first data arriving.
RAS to CAS Delay (tRCD): The minimum wait between opening a row and issuing the first read or write to it.
Row Precharge (tRP): The cycles needed to close the current row and reset the bank's bitlines before a different row can be opened.
Row Active Time (tRAS): The minimum number of cycles a row must stay open after activation. Opening a row drains the cells' charge, and they need time to be restored before the row can be safely closed.
You’ll notice words like column and row, and that’s because – very simplified – DRAM stores bits (1s and 0s) in cells arrayed like a grid. When the value of a cell needs to be read, the entire row must be read, and then written back, as the read itself is destructive. Each cell is a tiny capacitor whose charge holds the bit, and sensing that charge drains it so the row's values must be written back before it can be closed. This whole process is fascinating but complex. We recommend this older (but still checks out) series on how DRAM works.
The takeaway here is that each timing indicates how many cycles the processes of reading and writing data to memory take. Intuitively, the fewer the cycles, the faster or better. There are even more sub-timings, each of which can be tuned to achieve the most reads and writes in the fewest cycles.
So, coming back to AMD Ultra Low Latency memory kits: ULL is part of the new EXPO 1.2 standard, and it arrives in three pieces. The SPD profile format gains room for more tuning parameters. The platform side comes via AGESA 1.3.0.1b, which motherboards need before any of this works. And the kits themselves carry a new ULL certification and the modules are binned and validated to run those tighter timings.
AGESA is the firmware that AMD supplies to motherboard makers, which runs at the very start of boot and handles initialization at the lowest level, including configuring the Infinity Fabric, initializing the memory controller, and running memory training.
EXPO is overclocking data stored on a memory stick’s Serial Presence Detect (SPD) chip. It is a small chip on a DIMM that is sort of its ID card. It holds important details such as size, speed, voltage, and timing rules. AGESA reads that profile data and knows how to apply it during its initialization process.
So what do these additionally extended profiles really get us?
Performance Results
AMD’s announcement deck contained only a few slides declaring performance increases, and at first glance, wow, 13% improvement. Oh, wait a minute. Of course it’s a big leap against JEDEC; that’s like comparing your Honda Civic Type R to a go-kart. AMD claims that ULL memory kits can yield up to 4% better FPS in your game, with a Ryzen 7 9700X at least.

E poi riporta vari test.

Il discorso principale non è tanto che EXPO 1.2 ULL supporta parametri più spinti sulle DDR5 con aumenti di listino marginali, quanto che permette di ottenere parametri più spinti con le DDR5 in possesso vecchie di anni senza dover acquistare kit nuovi.

Le mie DDR5



sono diventate



P.S.
Senza aumentare Vsoc, VDDR e quant'altro... ho modificato però solamente Tcas/Trcd/Trp... per il resto aspetto Zen6.

[bagnino89]

Originariamente inviato da paolo.oliva2

Merita la lettura.

E poi riporta vari test.

Il discorso principale non è tanto che EXPO 1.2 ULL supporta parametri più spinti sulle DDR5 con aumenti di listino marginali, quanto che permette di ottenere parametri più spinti con le DDR5 in possesso vecchie di anni senza dover acquistare kit nuovi.

P.S.
Senza aumentare Vsoc, VDDR e quant'altro... ho modificato però solamente Tcas/Trcd/Trp... per il resto aspetto Zen6.

Bisogna capire se poi la stabilità viene mantenuta...

[paolo.oliva2]

Originariamente inviato da bagnino89

Bisogna capire se poi la stabilità viene mantenuta...

Io non ho fatto test particolari... ma all'inizio le avevo settate come sopra ma a 6400 anzichè 6000 con 2133 di MC... sempre senza aumentare il Vsoc/VDDR, e non mi ha dato alcun problema, ma le ho riportate a 6000 perchè non ho alcuna necessità di aumentare la banda ma vedere 25W/30W di SOC vs 15W a 6000 mi dava molto fastidio.
La mia idea è che le DDR5 EXPO ULL siano unicamente la versione garantita della stessa produzione DDR5 EXPO senza chissà quale selezione (visto che costerebbero solamente max +5%)... e che quindi tutta la produzione anteriore DDR5 EXPO (no ULL) funzioni praticamente per intero (ovviamente per tipo die).

OVVIAMENTE non è che con EXPO ULL delle DDR5 6000 per magia diventino delle 8000, 6000 sono e 6000 resteranno, ma se la banda delle 6000 non è insufficiente e si cerca di migliorare la latenza, la strada migliore non è acquistare DDR5 più veloci... anzi, se guardi solo la frequenza, rischi addirittura di spendere soldi per ottenere meno, e comunque, se prendi il top, spenderesti una cifra assurda per guadagni molto marginali... quando con la stessa cifra, potenziando la VGA, otterresti di più. I tempi sono cambiati... i listini sono cambiati... una volta anzichè spendere 90€ per delle DDR5 "normali" aveva senso spendere 2X/3X per delle DDR top per un guadagno +1%/+2%, semplicemente perchè COMUNQUE era una spesa nettamente inferiore rispetto a potenziare la VGA.. Oggi non è più 200€ per il TOP DDR, oggi sono 1000€/1500€, e con quei soldi, potenziando la VGA, i guadagni sono di gran lunga superiori.

Le 6000 CL28 hanno la stessa latenza delle 9000 CL42... se non c'è problema di banda insufficiente, gli FPS in game sarebbero IDENTICI.