NVIDIA H100, H200 e Intel Gaudi 2 si sfidano sull'intelligenza artificiale: manca solo AMD

NVIDIA e Intel hanno diffuso nuovi test sugli acceleratori H100, H200 e Gaudi 2 nel test pubblico MLPerf Inference v4.0. Mentre NVIDIA domina per prestazioni, Intel cerca di ritagliarsi uno spazio per il rapporto prezzo-prestazioni. Nessun dato sugli acceleratori AMD.
di Manolo De Agostini pubblicata il 28 Marzo 2024, alle 13:21 nel canale Schede VideoInstinctAMDGaudiHopperIntelNVIDIA
Si parla spesso di acceleratori di intelligenza artificiale e di quanto NVIDIA stia dominando il settore, ma come si confrontano le varie soluzioni tra loro? Numeri interni delle varie aziende a parte, il settore sta cercando di darsi dei test per dare dei riferimenti quanto più indipendenti e comparabili.
Il benchmark MLPerf Inference, gestito dal consorzio MLCommons, prova a rispondere alla nostra domanda inziale. Grazie a MLPerf possiamo vedere come si confrontano gli acceleratori di NVIDIA rispetto alle proposte di Intel, mentre al momento latitano ancora le proposte di AMD, la quale ha annunciato parteciperà al test collettivo, anche se non è ancora chiaro quando.
Clicca per ingrandire
NVIDIA è al vertice della classifica, e non è frutto solo della potenza dell'hardware. Si può vedere come l'evoluzione e l'ottimizzazione software abbia portato l'acceleratore H100 a comportarsi nettamente meglio nei test della suite MLPerf Inference v4.0 rispetto a quelli della versione 3.1. MLPerf Inference v4.0 integra due nuovi benchmark, la generazione di immagini Stable Diffusion e un test sul modello Llama 2 70B.
Clicca per ingrandire
Il pezzo da novanta della nuova tornata di test è l'acceleratore H200, la versione aggiornata di H100 che vanta non solo una memoria maggiore, ma anche più veloce - si passa da 80 GB di HBM3 a 141 GB di HBM3E. Per molti dei LLM e GPT più moderni e più grandi, H200 rappresenta un aggiornamento significativo rispetto a H100. La memoria aggiuntiva e più veloce allevia i colli di bottiglia in alcune applicazioni, tanto che i risultati preliminari mostrano già fino al 45% di prestazioni in più rispetto a H200.
La memoria maggiorata consente al modello Llama 2 70B di funzionare integralmente su un singolo acceleratore H200, anziché "frammentarsi" su più GPU. Ne consegue, quindi, una minore necessità di "comunicare all'esterno" con altri acceleratori, cosa che va a migliorare le prestazioni complessive.
H200, in virtù della memoria HBM3E, offre una larghezza di banda di memoria maggiore rispetto ad H100, alleviando i colli di bottiglia nelle porzioni di carico legate alla bandwidth, favorendo così un miglior utilizzo dei Tensor Core e un maggiore throughput di inferenza.
Clicca per ingrandire
Il raffreddamento custom e il conseguente aumento del TDP nei sistemi partner può portare fino al 14% in più di prestazioni. Secondo NVIDIA, un acceleratore H200 con lo stesso TDP di 700 watt di uno H100 fornisce il 28% di prestazioni in più, mentre a 1000 watt il gap sale al 45%. NVIDIA, infine, ha fatto sapere che sta già lavorando sui sistemi Blackwell e che pubblicherà i relativi test tramite MLCommons non appena pronti.
Clicca per ingrandire
In attesa di AMD, Intel si candida come alternativa a NVIDIA. Con Gaudi 2 e un'opera di costante ottimizzazione, Intel vuole gettare le basi per un futuro di maggiore successo con Gaudi 3. Intel, al momento, punta molto sul rapporto tra prezzo e prestazioni. In tal senso si considera ben posizionata nel confronto tra configurazioni che mettono in contrapposizione 8 acceleratori Gaudi 2 con 8 NVIDIA H100.
Clicca per ingrandire
Intel ha iniziato molti anni fa a integrare capacità IA nelle proprie CPU e anche lì sta spingendo sull'acceleratore: l'azienda dichiara un importante incremento prestazionale dalle CPU Sapphire Rapids a quelle Emerald Rapids (Xeon Scalable 4a Gen, vs 5a Gen), un risultato figlio del software ottimizzato, all'aumento dei core, della cache L3 e della velocità di clock. Intel stima un boost fino al 42%: per una CPU "socket-compatibile" non è poco.
Ricordiamo che Intel e altri grandi player dell'industria stanno cercando, tramite la Unified Acceleration Foundation (UXL), di dare vita a un ecosistema software "multi-architettura" e "multi-produttore" per tutti gli acceleratori basati su standard open source: in poche parole un rivale di CUDA che porti gli sviluppatori a concentrarsi su soluzioni alternative alle proposte di NVIDIA.
1 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoDevi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".