AMD ha realizzato una CPU EPYC con memoria HBM3 su misura per Microsoft Azure

Dietro alle nuove Azure HBv5 Virtual Machines per l'HPC annunciate da Microsoft durante Ignite 2024 c'è un processore AMD del tutto inedito, una soluzione EPYC di quarta generazione accompagnata, sullo stesso package, da memoria HBM3. Secondo molti, dietro questa proposta si cela il vociferato progetto Instinct MI300C.

"Microsoft e AMD hanno collaborato allo sviluppo di un processore EPYC custom di quarta generazione con memoria HBM", scrive Microsoft in un post. "In una macchina virtuale Azure HBv5, quattro di questi processori lavorano insieme per fornire quasi 7 TB/s di bandwidth".

"A titolo di confronto", continua Microsoft, "questo valore è fino a 8 volte superiore rispetto alle più recenti alternative bare-metal e cloud, quasi 20 volte superiore ad Azure HBv3 e Azure HBv2 (EPYC di 3a generazione con 3D V-cache Milan-X ed EPYC di 2a generazione Rome) e fino a 35 volte superiore rispetto a un server HPC di 4-5 anni fa che si avvicina alla fine del suo ciclo di vita".

Ogni processore offre 88 core Zen 4 impostabili fino a una frequenza di 4 GHz, anche se è probabile che all'interno ve ne siano 96, alcuni dei quali riservati a compiti di routine e non a disposizione degli utenti della VM. L'SMT delle CPU è stato disabilitato, e ognuna conta 128 GB di memoria HBM3, anche se non tutti accessibili.

Poiché si parla di quattro CPU che operano insieme, Microsoft mette a disposizione 352 core e 400-450 GB di HBM3. La casa di Redmond dichiara una bandwidth Infinity Fabric totale raddoppiata rispetto alle altre CPU EPYC. Per la distribuzione del carico, le macchine virtuali si affidano a una soluzione NVIDIA Quantum-2 InfiniBand da 800 Gb/s, con ogni CPU alimentata in modo identico (200 Gb/s ciascuna).

AMD non è la prima a proporre CPU server con memoria HBM a bordo. Intel ha presentato soluzioni, chiamate Xeon Max, basate sul progetto Sapphire Rapids (Xeon Scalable di quarta generazione). Quei chip si trovano all'interno del supercomputer Aurora, attualmente il terzo più potente al mondo.

L'azienda non ha replicato l'operazione con gli Xeon di quinta generazione, Emerald Rapids, e al momento non sembra intenzionata a farlo con Granite Rapids. È probabile che anche Intel miri a offrire CPU con memoria HBM solo per progetti specifici e personalizzati sulla base delle richieste dei propri clienti.

Sul social Bluesky, l'ingegnere di AMD Phil Park ha spiegato che finora non avevamo visto processori EPYC con memoria HBM perché i processori erano rivolti "ai mercati ad alto volume, ed è per questo che non si vedono EPYC con più di 2 socket".

"Non si possono sostituire i controller DDR5 e aggiungere controller/stack HBM e chiudere la faccenda. L'HBM obbliga a determinate scelte progettuali (ad esempio, ogni stack HBM3 richiede sedici canali a 64 bit)", aggiunge Park.

C'è poi anche un problema di flessibilità: "Con l'HBM non è possibile aggiornare la capacità o avere versioni a basso costo con meno canali”, ha sottolineato Park. "In generale, le CPU non richiedono tutta questa larghezza di banda".