OpenAI e Microsoft mostrano i primi sistemi basati su GPU NVIDIA Blackwell

OpenAI si appresta a mettere alla frusta gli acceleratori Blackwell di NVIDIA. Con un post su X, la società guidata da Sam Altman ha annunciato di aver ricevuto uno dei primi engineering sample di DGX B200.

DGX B200 prevede otto GPU B200, per un totale di 1,4 TB di memoria HBM3E, oltre a due CPU Intel Xeon Platinum 8570. Secondo NVIDIA, il DGX B200 è in grado di offrire fino a 76 petaFLOPS di prestazioni di addestramento e 144 petaFLOPS di prestazioni di inferenza, con un consumo massimo di circa 14,3 kW. Sul proprio sito, NVIDIA parla di "prestazioni di training 3 volte superiori e prestazioni di inferenza 25 volte superiori rispetto alle generazioni precedenti".

Nei giorni scorsi il CEO di NVIDIA ha parlato di domanda "folle" per Blackwell, con le aziende del settore IA che fanno a gara per avere le GPU prima degli altri. NVIDIA prevede incamerare ricavi per miliardi già entro la fine dell'anno, nonostante Blackwell abbia avuto un intoppo tecnico.

Chiaramente OpenAI, impegnata a creare modelli sempre più evoluti e potenti per plasmare il futuro di ChatGPT e altri servizi, non poteva che essere tra le prime a saggiare le potenzialità di Blackwell. Non solo, anche Microsoft ha annunciato, sempre a mezzo social, che Azure è il primo cloud al mondo con un server IA basato sul GB200. GB200 combina due GPU B200 con una CPU Grace su un'unica scheda. Nella foto di Microsoft sembra che il sistema comprenda un totale di 16 GPU e 8 CPU, il tutto gestito da un sistema di raffreddamento a liquido.

Ricordiamo che ogni GPU Blackwell B200 è formata da due chip (die) che ne compongo un unico grande processore. I due die sono prodotti con processo 4NP, una variante ottimizzata dell'N4P di TSMC. I due chip operano insieme e sono collegati per mezzo di un'interfaccia Chip-to-Chip (NVIDIA High-Bandwidth Interface, NV-HBI) con una bandwidth di 10 TB/s.

Entrambi i chip sono collegati a quattro chip di memoria HBM3E da 24 GB (8-Hi), il che porta il totale a 192 GB di memoria HBM3E su un bus a 8192 bit (1024 bit per chip HBM3E). La bandwidth della memoria HBM3E raggiunge gli 8 TB/s per chip. Ulteriori dettagli potete trovarli in questo articolo dove approfondiamo le capacità di Blackwell B200 e GB200.