Blackwell Ultra: fino al 45% di prestazioni in più rispetto a Blackwell nei test MLPerf

L'architettura NVIDIA Blackwell Ultra debutta ufficialmente nei benchmark MLPerf Inference v5.1, stabilendo record di prestazioni su una gamma di modelli che spaziano dal riconoscimento vocale all'elaborazione di grandi modelli linguistici (LLM) con centinaia di miliardi di parametri.

Il nuovo sistema rack-scale GB300 NVL72, alimentato da GPU Blackwell Ultra, ha fatto segnare un incremento fino al 45% di throughput per GPU rispetto ai sistemi basati su Blackwell GB200 NVL72, confermandosi come riferimento per i carichi di lavoro di inferenza in data center. Ancora più significativo è il confronto con la precedente generazione Hopper: nel benchmark DeepSeek-R1 l'aumento prestazionale arriva a oltre 5 volte per GPU.

Oltre ai miglioramenti dell'architettura Blackwell Ultra, grazie al formato numerico NVFP4, sviluppato da NVIDIA, e agli strumenti software come TensorRT Model Optimizer e TensorRT-LLM, è stato possibile quantizzare modelli come DeepSeek-R1 e Llama 3.1 mantenendo l'accuratezza richiesta, ma con un notevole risparmio di memoria e maggior efficienza computazionale.

Un altro fattore determinante è stata l'adozione del disaggregated serving, che separa le fasi di context e generation dei LLM su GPU differenti, evitando inefficienze tipiche dei deployment tradizionali. Questa strategia si è rivelata cruciale nel nuovo scenario interattivo per Llama 3.1 405B, dove sono stati raggiunti throughput e latenze significativamente migliori rispetto all'approccio convenzionale.

La piattaforma ha inoltre beneficiato del framework NVIDIA Dynamo, che aggiunge funzioni come autoscaling basato su SLA, osservabilità in tempo reale e tolleranza ai guasti, facilitando la gestione di infrastrutture AI su larga scala.

Oltre ai risultati diretti di NVIDIA, diversi partner - tra cui Azure, Dell, HPE, Lenovo, Oracle e Supermicro - hanno presentato benchmark basati su Blackwell e Hopper, dimostrando la diffusione della piattaforma nel mercato enterprise.

Secondo NVIDIA, le prestazioni record di Blackwell Ultra non si limitano a migliorare i numeri di benchmark, ma incidono direttamente sull'economia delle AI factory: maggiore throughput significa più token generati a parità di tempo, minori costi operativi e ritorno sull'investimento più elevato per le organizzazioni che sviluppano e distribuiscono applicazioni basate su AI avanzata.