NVIDIA Blackwell domina, anche su Hopper: prestazioni fino a 2,2 volte superiori in addestramento

I test della suite MLPerf Training, legati alla parte di addestramento dei modelli di intelligenza artificiale, mostrano come la piattaforma NVIDIA Blackwell non abbia rivali. Al momento, né AMD né Intel hanno pubblicato risultati relativi alle proprie soluzioni, ma per NVIDIA è più un raffronto con sé stessa che con la concorrenza.

Usando un sistema DGX B200 (8 GPU Blackwell con un TDP di 1000 Watt), NVIDIA ha mostrato significativi miglioramenti delle prestazioni su tutta la linea rispetto a un'analoga soluzione basata su GPU Hopper. I test li trovate a questo indirizzo.

Clicca per ingrandire

Le prestazioni per GPU, sia nei benchmark di pre-addestramento che di messa a punto (fine tuning), basati rispettivamente su GPT-3 175B e Llama 2 70B, hanno raggiunto prestazioni fino a 2,2 volte superiori. Risultati che NVIDIA ritiene potranno essere migliorati in futuro e che sottolineano come le prestazioni per GPU sono aumentate di circa 12 volte dalle soluzioni Ampere.

Clicca per ingrandire

Si tratta della prima volta che una piattaforma Blackwell appare nei benchmark di settore creati da MLCommons Consortium per quanto concerne le capacità di addestramento. "Il throughput di calcolo per GPU più elevato e la memoria ad alta larghezza di banda significativamente più grande e più veloce consentono a Blackwell di eseguire il benchmark GPT-3 175B su un numero inferiore di GPU, ottenendo al contempo eccellenti prestazioni per GPU", sottolinea NVIDIA.

Sfruttando la memoria HBM3E più ampia e con maggiore larghezza di banda, è stato possibile eseguire il benchmark GPT-3 LLM con sole 64 GPU Blackwell senza compromettere le prestazioni per GPU. Lo stesso benchmark eseguito con Hopper richiede 256 GPU.

I risultati odierni fanno seguito a una precedente apparizione in MLPerf Inference 4.1, dove Blackwell ha fornito prestazioni di inferenza LLM fino a quattro volte superiori rispetto alla generazione Hopper. Sfruttando la precisione FP4 dell'architettura Blackwell, insieme al sistema di quantizzazione NVIDIA QUASAR, Blackwell ha fatto segnare prestazioni senza pari soddisfacendo al contempo i requisiti di precisione del test.

Oltre a concentrarsi su Blackwell, NVIDIA ha presentato anche nuovi risultati legati alle piattaforme Hopper. Le piattaforme sono sottoposte a un continuo sviluppo del software, con miglioramenti delle prestazioni e delle funzionalità di addestramento e inferenza per un'ampia gamma di framework, modelli e applicazioni.

Per questo, NVIDIA sottolinea di aver migliorato del 30% le prestazioni di addestramento per-GPU in GPT-3 175B dall'introduzione del test. L'azienda ha pubblicato anche i risultati relativi alla fase di addestramento di un sistema con 11.616 GPU Hopper nel test GPT-3 175B.

Clicca per ingrandire

NVIDIA sostiene che le GPU Hopper hanno "più che triplicato la scala e le prestazioni del benchmark GPT-3 175B rispetto allo scorso anno. Inoltre, nel benchmark Llama 2 70B LoRA fine-tuning, NVIDIA ha aumentato le prestazioni del 26% utilizzando lo stesso numero di GPU Hopper, a testimonianza dei continui miglioramenti del software".