NVIDIA Blackwell B100 fa già paura: prestazioni che stracciano H200 Hopper
In una conferenza, NVIDIA ha mostrato una prima proiezione prestazionale di Blackwell B100, acceleratore che andrà a sostituire Hopper H200 nel corso del 2024: secondo la società la nuova architettura offrirà prestazioni più che raddoppiate nell'inferenza con modelli come GPT-3 175B.
di Manolo De Agostini pubblicata il 13 Novembre 2023, alle 20:11 nel canale Schede VideoHopperBlackwellNVIDIA
In occasione di una conferenza all'SC23 di Denver, NVIDIA ha svelato per la prima volta le prestazioni di Blackwell B100, GPU in arrivo nel 2024 che andrà a succedere alla generazione Hopper (H100 e H200).
In una breve anticipazione sotto forma di slide, NVIDIA ha mostrato che Blackwell B100 sarà in grado di bruciare la sua attuale soluzione di punta H200. Non c'è una scala per l'asse verticale, ma si può facilmente intuire che le prestazioni di inferenza con i modelli GPT-3 come GPT-3 175B (ribattezzato da vinci, 175 miliardi di parametri) saranno più che raddoppiate dalla nuova architettura. Ovviamente il dato è da prendere come una singola proiezione e non un valore generale.
Clicca per ingrandire
Secondo indiscrezioni, NVIDIA si avvarrà del processo produttivo a 3 nanometri di TSMC per realizzare Blackwell B100: è possibile che si tratti, inoltre, del primo progetto MCM (multi-chip module, più chip sul package che lavorano insieme) della società. Una seconda slide sembra lasciare intendere che B100 sarà accompagnato da memoria HBM3E, magari più veloce rispetto a quella implementata su H200.
Clicca per ingrandire
Recentemente la società statunitense ha annunciato il passaggio da una cadenza biennale a una annuale nello sviluppo di nuove architetture per il mondo dei datacenter.
NVIDIA: prima di B100, ecco H200 con 141 GB di memoria HBM3E
Ad agosto NVIDIA annunciò GH200 Grace Hopper Superchip, versione di Grace Hopper Superchip (CPU ARM + GPU Hopper) dotata di memoria HBM3E. In queste ore la società guidata da Jensen Huang ha rilanciato con H200, versione aggiornata con memoria HBM3E dell'acceleratore basato su GPU H100. Non solo, la capacità della memoria passa da 80 a 141 GB, con una bandwidth di 4,8 TB al secondo grazie a un bus a 6144 bit.
Clicca per ingrandire
Il numero 141 è particolare, e in effetti sulla scheda sono presenti fisicamente 144 GB per effetto di sei stack da 24 GB, ma NVIDIA ha deciso di tenersi del margine per qualche ragione, forse una questione di rese produttive.
Sebbene NVIDIA non sia entrata nei dettagli, non sembra che la GPU abbia subito mutamenti rispetto ad H200, quindi i miglioramenti prestazionali indicati dalla società devono essere ricollegati alla sola memoria. Il nuovo acceleratore sarà disponibile nel secondo trimestre 2024.
Clicca per ingrandire
NVIDIA ha svelato anche HGX H200, ovvero un sistema con 8 soluzioni H200 in formato SMX, aggiornamento del preesistente HGX H100. Un'altra novità, infine, si chiama Quad GH200: come fa intuire il nome, si tratta di una soluzione che mette insieme 4 soluzioni GH200 Grace Hopper Superchip in parallelo, per un totale di 288 core ARM, 1920 GB di memoria LPDDR5X e 384 GB di memoria HBM3 (in questo caso non parliamo della versione aggiornata con HBM3E), per un totale di 2,3 TB di memoria. Tra le prime società a offrire questa soluzione troviamo, come riportato qui, HPE (HP Enterprise) con Cray EX2500.
6 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoSARAH: Skynet non obbedisce.
TERMINATOR: Già. E lancia i suoi missili contro i bersagli in Russia.
JOHN: Perché attaccare la Russia? Non è amica nostra adesso?
TERMINATOR: Perché Skynet sa che il contrattacco russo eliminerà i suoi nemici da questa parte.
SARAH: Cristo! Tu che cosa sai di questo Dyson?
TERMINATOR: Ho i dettagli in memoria.
SARAH: Voglio sapere tutto. Che aspetto ha, dove abita, tutto quanto.
non credo rifacciano lo stesso errore di non avere permesso la memoria condivisa.
SARAH: Skynet non obbedisce.
TERMINATOR: Già. E lancia i suoi missili contro i bersagli in Russia.
JOHN: Perché attaccare la Russia? Non è amica nostra adesso?
TERMINATOR: Perché Skynet sa che il contrattacco russo eliminerà i suoi nemici da questa parte.
SARAH: Cristo! Tu che cosa sai di questo Dyson?
TERMINATOR: Ho i dettagli in memoria.
SARAH: Voglio sapere tutto. Che aspetto ha, dove abita, tutto quanto.
Sono mesi che provo a chiedere dettagli e soprattutto nomi dei vari Dyson odierni. Nessuna risposta.
SARAH: Skynet non obbedisce.
TERMINATOR: Già. E lancia i suoi missili contro i bersagli in Russia.
JOHN: Perché attaccare la Russia? Non è amica nostra adesso?
TERMINATOR: Perché Skynet sa che il contrattacco russo eliminerà i suoi nemici da questa parte.
SARAH: Cristo! Tu che cosa sai di questo Dyson?
TERMINATOR: Ho i dettagli in memoria.
SARAH: Voglio sapere tutto. Che aspetto ha, dove abita, tutto quanto.
Guarda, non so se scherzi o sei serio, ma a me fa abbastanza paura la questione....
non credo rifacciano lo stesso errore di non avere permesso la memoria condivisa.
la K80 era pre-nVlink; ora con nVLink sono sempre tutte collegabili e memoria condivisa.
l'nVLink sono quei connettori in basso allungati.
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".