NVIDIA domina MLPerf Training v5.1 con l'architettura Blackwell Ultra: Llama 405B addestrato in soli 10 minuti

NVIDIA ha ottenuto una vittoria completa nei test MLPerf Training v5.1, confermandosi come riferimento assoluto per le prestazioni nell'addestramento dei modelli di intelligenza artificiale. Il risultato, che copre sette categorie tra large language model (LLM), image generation, recommender system, computer vision e graph neural network, è frutto dell'evoluzione dell'architettura Blackwell, in particolare nella sua versione Blackwell Ultra.

MLPerf, sviluppato dall'associazione MLCommons, misura i tempi necessari per addestrare modelli AI fino a una determinata accuratezza, rappresentando uno standard di riferimento per l'intero settore. In questa tornata, NVIDIA è stata l'unica azienda a presentare risultati per tutti i test, il che sottolinea la maturità della piattaforma CUDA e la coerenza del suo ecosistema hardware-software.

Clicca per ingrandire

Il sistema GB300 NVL72, alimentato dall'architettura Blackwell Ultra, ha esordito nei test MLPerf Training dopo le prestazioni record ottenute nel round Inference. Rispetto all'architettura Hopper, la nuova GPU ha registrato un miglioramento di oltre 4 volte nel pretraining di Llama 3.1 405B e quasi 5 volte nella fase di fine-tuning di Llama 2 70B LoRA, mantenendo lo stesso numero di GPU.

Questo incremento deriva dai nuovi Tensor Core capaci di offrire fino a 15 petaflop di potenza AI NVFP4, dal raddoppio delle prestazioni nei layer di attenzione e dall'integrazione di 279 GB di memoria HBM3e per GPU. Inoltre, per la prima volta nella storia dei benchmark MLPerf, le operazioni di training sono state eseguite utilizzando la precisione FP4, nel formato numerico proprietario NVFP4 che consente di ridurre la precisione dei calcoli senza sacrificare l'accuratezza dei modelli, raggiungendo fino a 3 volte il throughput FP8.

Clicca per ingrandire

Secondo i dati interni NVIDIA, NVFP4 garantisce una precisione superiore rispetto ad altri formati FP4 industriali (come MXFP4), consentendo di raggiungere la stessa accuratezza con meno token o tempi di addestramento inferiori. Per mantenere la qualità dei risultati, NVIDIA ha adottato tecniche di "healing", alternando FP4 e FP8 nelle ultime fasi dell'addestramento.

Il risultato più impressionante arriva dal benchmark Llama 3.1 405B, uno dei più complessi mai testati da MLPerf. NVIDIA ha stabilito un nuovo record di addestramento di 10 minuti utilizzando 5.120 GPU Blackwell, il doppio rispetto alla scala massima del round precedente.

Clicca per ingrandire

La combinazione di NVFP4 e ottimizzazioni software ha permesso un aumento dell'efficienza per GPU del 42%, con un'efficienza di scaling dell'85% da 512 a oltre 5.000 GPU. Con una configurazione ridotta da 2.560 GPU, il tempo di training è sceso a 18,79 minuti, migliorando del 45% rispetto al round v5.0.

MLPerf v5.1, inoltre, ha introdotto due test inediti:

• Llama 3.1 8B, che sostituisce BERT-large come modello compatto per LLM. NVIDIA ha completato il training in 5,2 minuti con 512 GPU Blackwell Ultra.
• FLUX.1, che sostituisce Stable Diffusion v2 nel campo dell'immagine generativa: unico partecipante, NVIDIA ha chiuso in 12,5 minuti con 1.152 GPU Blackwell.

E AMD?

Anche AMD ha partecipato, insieme ai partner, a questa tornata di test MLPerf Training v5.1. Un portavoce AMD ha sottolineato come l'azienda stia rapidamente colmando il divario rispetto alla concorrenza.

Le GPU della serie AMD Instinct MI350 mostrano significativi miglioramenti generazionali: secondo i dati forniti, MI355X offre fino a 2,2 volte le prestazioni della precedente MI325X nel benchmark Llama 2-70B, e fino a 2,9 volte quelle della MI300X. Questi progressi indicano che l'architettura un passo concreto verso una maggiore competitività nelle applicazioni di training su larga scala.

Sebbene AMD riconosca che la propria presenza nei benchmark MLPerf sia ancora agli inizi, i risultati ottenuti evidenziano un'accelerazione nella roadmap tecnica e commerciale. A conferma di questa direzione, nel corso del Financial Analyst Day l'azienda ha dichiarato di puntare a raggiungere 100 miliardi di dollari di fatturato annuo proveniente dalle linee Epyc e Instinct entro i prossimi tre-cinque anni - una previsione ambiziosa, considerando che oggi questi segmenti generano circa 16 miliardi di dollari l'anno.