NVIDIA H100 NVL è l'acceleratore pensato esclusivamente per ChatGPT

Qualcuno si è azzardato a chiamarla dual GPU, ma ci troviamo davanti a due schede separate collegate tra loro tramite tre collegamenti NVLink. Stiamo parlando di H100 NVL (NVL sta per NVLink), una nuova soluzione presentata da NVIDIA alla GTC 2023 destinata alla gestione di grandi modelli linguistici come ChatGPT.

In base a quanto diffuso dalla società, H100 NVL (H100 NVLink) prevede connettori NVLink nella parte superiore che consentono di collegare due schede adiacenti, inserite però in slot PCI Express 5.0 separati.

H100 NVL è dotata di un chip identico nelle caratteristiche alla versione H100 SXM5, ma troviamo 94 GB di memoria HBM3 per GPU al posto di 80 GB, per un totale di 188 GB. In virtù della maggiore memoria, il bus sale a 6144 bit (1024 bit per ogni stack HBM3) per una bandwidth di 7,8 GB/s.

Sebbene le due schede operino in tandem, parlare di dual GPU appare un attimo forzato: non ci sono due GPU sullo stesso PCB né il progetto ricorda la GeForce 7950 GX2, la scheda gaming a "panino" con due GPU e altrettanti PCB ma un singolo connettore PCIe.

NVIDIA afferma che diverse H100 NVL possono essere usate in parallelo nei server, tanto che i partner stanno mettendo a punto sistemi capaci di ospitare da due a quattro coppie. Ogni H100 NVL viene vista dal sistema operativo come due GPU, ma il carico viene distribuito automaticamente tra i chip senza richiedere modifiche o intervento umano.

Oltre alla H100 NVL, NVIDIA ha presentato NVIDIA L4, una proposta basata su architettura Ada Lovelace che prende il posto della T4 basata sul progetto Turing. Anche in questo caso, la scheda è destinata alla decodifica e transcodifica di flussi video e audio nel cloud (qui ulteriori dettagli).

Google Cloud prevede di usarla in nuove macchine virtuali di classe G2 per accelerare soluzioni basate sull'intelligenza artificiale come Descript. Nella gestione di calcoli di intelligenza artificiale nei video, la nuova NVIDIA L4 raggiunge prestazioni 120 volte superiori e un'efficienza migliore del 99% rispetto a un sistema basato su CPU. La scheda può anche essere usata per decodificare fino a 1.040 flussi video in parallelo. NVIDIA L4 è disponibile in un fattore di forma a basso profilo ed è alimentata solamente tramite lo slot PCIe.

Infine, NVIDIA ha creato anche NVIDIA L40 per la generazione di immagini (maggiori informazioni qui). "È ottimizzata per grafica e generazione di immagini 3D, 2D e video con l'IA. La piattaforma L40 serve come motore di NVIDIA Omniverse e offre prestazioni fino a 7 volte maggiori nell'inferenza per Stable Diffusion e 12 volte le prestazioni per Omniverse rispetto alla generazione precedente".