NVIDIA Blackwell guida nei test sull'inferenza IA, AMD seconda con performance simili ad H200

I risultati del benchmark MLPerf Inference V5.0 di MLCommons hanno confermato il dominio di NVIDIA nel settore degli acceleratori per l'intelligenza artificiale, con la nuova architettura Blackwell che segna un netto miglioramento rispetto alle generazioni precedenti nell'ambito dell'inferenza. Il test, nello specifico, valuta la velocità con cui i sistemi possono elaborare gli input e produrre risultati utilizzando un modello addestrato.

AMD, seppur seconda, ha mostrato un significativo progresso con il debutto del suo acceleratore Instinct MI325X, mentre Intel ha pubblicato risultati relativi alle CPU Xeon 6 "Granite Rapids", non avendo in Gaudi 3 un competitor all'altezza della concorrenza.

Clicca per ingrandire

NVIDIA ha stabilito nuovi record, grazie soprattutto al sistema rack-scale GB200 NVL72, che ha permesso di ottenere fino a 30 volte il throughput rispetto alla soluzione H200 NVL8 sul benchmark Llama 3.1 405B.

Clicca per ingrandire

Clicca per ingrandire

L'incremento di prestazioni non si deve solo alla maggiore potenza delle GPU Blackwell, ma anche all'ottimizzazione dell'interconnessione NVLink, che ha moltiplicato per nove la bandwidth di comunicazione interna. Inoltre, nel test Llama 2 70B Interactive, la piattaforma Blackwell ha triplicato le prestazioni rispetto alla generazione H200, migliorando significativamente i tempi di risposta, un aspetto cruciale per le applicazioni real-time.

Clicca per ingrandire

Clicca per ingrandire

AMD, pur restando dietro a NVIDIA, ha registrato un avanzamento notevole con il debutto dell'Instinct MI325X, il primo acceleratore della serie a partecipare ai benchmark MLPerf. Le prestazioni del MI325X si sono dimostrate comparabili a quelle dell'H200 di NVIDIA, e la sua scalabilità è stata confermata dai risultati ottenuti da più partner industriali, tra cui Supermicro, ASUS e Giga Computing. Inoltre, la prima partecipazione multi-nodo con il MI300X, presentata dal partner MangoBoost, ha segnato un record nel test offline per Llama 2 70B, dimostrando l'efficacia delle soluzioni AMD nelle configurazioni distribuite.

Intel, invece, ha scelto un approccio differente, evidenziando i progressi della propria architettura Xeon 6 nel contesto delle CPU per l'inferenza. I processori Xeon 6 hanno mostrato un miglioramento del 90% rispetto alla generazione precedente, frutto delle unità di accelerazione interne al chip, della migliore architettura complessiva e dell'ottimizzazione software.

Intel non ha presentato risultati per la linea di acceleratori Gaudi, evitando il confronto diretto con AMD e NVIDIA nei test MLPerf. Questo suggerisce una strategia focalizzata sul mercato delle CPU per l'A piuttosto che su quello delle GPU ad alte prestazioni, almeno al momento.

Infine, da segnalare la presenza anche della TPU v6e di Google, seppur con risultati limitati all'attività di generazione di immagini. Con 5,48 query al secondo, un sistema dotato di 4 TPU ha registrato un incremento di 2,5 volte rispetto a un sistema simile basato sul predecessore TPU v5e nei risultati di ottobre 2024. Tuttavia, 5,48 query al secondo sono più o meno in linea con un sistema di Lenovo di dimensioni simili equipaggiato con acceleratori NVIDIA H100.