NVIDIA alza l'asticella: GH200 Grace Hopper Superchip con 141 GB di memoria HBM3E

Al SIGGRAPH di Los Angeles, NVIDIA ha svelato una nuova variante di Grace Hopper Superchip, anche noto come GH200. Il CEO Jen-Hsun Huang ha presentato una variante dell'acceleratore equipaggiata con memoria HBM3E, un passo avanti rispetto all'attuale versione dotata di "semplice" memoria HBM3.

L'acceleratore, nato per affrontare i carichi di intelligenza artificiale più complessi, sarà effettivamente disponibile ai clienti nel corso del Q2 2024. La nuova soluzione non andrà a sostituire quella iniziale, quindi NVIDIA offrirà al mercato due versioni dello stesso prodotto, una con HBM3 (attualmente in produzione) e una con HBM3E in seguito.

In cosa è migliore il nuovo modello di Grace Hopper Superchip? La capacità di memoria e la bandwidth, due aspetti fondamentali per i carichi di AI e i modelli sempre più grandi. Si passa quindi dai 96 GB della versione iniziale ai 141 GB (6 chip da 24 GB) della nuova variante, un incremento di circa il 50%. Secondo NVIDIA, un sistema con due Grace Hopper Superchip offre fino a 282 GB di memoria HBM3E, ovvero "fino a 3,5 volte la capacità di memoria e 3 volte la bandwidth dell'attuale generazione".

NVIDIA riporta che GH200 con HBM3E ha una bandwidth fino 5 TB/s, 1 TB/s in più rispetto al modello precedentemente annunciato. Per il resto Grace Hopper Superchip prevede una CPU con 72 core ARM Neoverse V2 e 480 GB di memoria LPDDR5X con una bandwidth di 512 GB/s. La GPU Hopper nella sua massima espressione prevede 132 SM e 528 Tensor core, oltre a un collegamento NVLink verso la CPU da 900 GB/s. Queste specifiche rimangono immutate, così come il processo produttivo 4N di TSMC.