NVIDIA DGX GH200: 256 Grace Hopper Superchip insieme per il prossimo ChatGPT

Al Computex 2023 NVIDIA ha annunciato "DGX GH200", un nuovo supercomputer pensato per favorire "lo sviluppo di enormi modelli di AI generativa" per l'applicazione nel settore linguistico (come ChatGPT), nell'analisi dati e nei sistemi di raccomandazione.

Il cuore di NVIDIA DGX GH200 prevede 256 Grace Hopper Superchip in grado di lavorare come una singola GPU con un'enorme spazio di memoria condiviso grazie all'interconnessione NVLink e al nuovo NVLink Switch System.

In questo modo NVIDIA DGX GH200 può offrire una potenza di calcolo fino a 1 exaflop con calcoli FP8 e ben 144 TB di memoria condivisa, valore quest'ultimo che rappresenta "quasi 500 volte più memoria rispetto alla precedente generazione NVIDIA DGX A100 introdotta nel 2020".

Ogni Grace Hopper Superchip prevede sullo stesso package una CPU NVIDIA Grace con 72 core e una GPU NVIDIA H100 Tensor Core, collegate tra loro mediante l'interconnessione NVIDIA NVLink-C2C. Rispetto al collegamento tramite bus PCI Express, CPU e GPU possono scambiarsi dati con una bandwidth fino a 7 volte maggiore (dai 128 GB/s del PCIe 5.0 si passa ai 900 GB/s di NVLink-C2C) e ridurre il consumo legato all'interconnessione di oltre 5 volte.

DGX GH200 è il primo supercomputer ad accoppiare Grace Hopper Superchip e NVIDIA NVLink Switch System, una nuova interconnessione che consente a tutte le GPU del sistema DGX GH200 di lavorare insieme come fossero una sola. La generazione precedente consentiva a solo otto GPU di sfruttare NVLink per operare come un'unica GPU senza compromettere le prestazioni. La nuova architettura di DGX GH200, inoltre, è in grado di fornire una bandwidth NVLink 48 volte maggiore rispetto alla scorsa generazione.

Google Cloud, Meta e Microsoft sono le prime società ad aver deciso di acquistare DGX GH200 per esplorarne le capacità nella gestione dei carichi di lavoro di IA generativa. NVIDIA intende rendere disponibile il progetto di DGX GH200 ai provider di servizi cloud e hyperscaler in modo che possano personalizzarlo ulteriormente per la loro infrastruttura.

NVIDIA ha annunciato contestualmente che NVIDIA GH200 Grace Hopper Superchip è in piena produzione e che sta costruendo il suo primo supercomputer basato su DGX GH200 per dare una marcia in più ai suoi ricercatori e team di sviluppo.

Il frutto di tale impegno si chiama NVIDIA Helios, un sistema basato su quattro DGX GH200, ognuno interconnesso con NVIDIA Quantum-2 InfiniBand. Helios include 1024 Grace Hopper Superchip e sarà messo in funzione entro fine anno.