Gaudi 3, il nuovo acceleratore IA di Intel che vuole diventare l'alternativa a NVIDIA

Intel ha annunciato l'acceleratore Gaudi 3 per l'intelligenza artificiale. La nuova proposta, forte di un chip più avanzato e 128 GB di memoria HBM2E, si candida come alternativa credibile alle proposte di NVIDIA, in genere più costose.
di Manolo De Agostini pubblicata il 09 Aprile 2024, alle 17:41 nel canale Schede VideoGaudiIntel
Intel ha annunciato Gaudi 3, il nuovo acceleratore di intelligenza artificiale che promette di offrire prestazioni nettamente superiori all'attuale Gaudi 2, attualmente una delle alternative alle soluzioni dominanti di NVIDIA per rapporto prezzo-prestazioni.
Gaudi 3 offre "4 volte le prestazioni di calcolo IA con il formato BF16, incrementa la bandwidth di memoria del 50% e la bandwidth di rete di 2 volte per soddisfare le crescenti necessità del settore", sottolinea la casa di Santa Clara.
"Nel panorama in continua evoluzione del mercato dell'intelligenza artificiale, persiste un divario significativo nelle offerte attuali. Il feedback dei nostri clienti e del mercato in generale sottolinea il desiderio di una maggiore scelta", ha dichiarato Justin Hotard, vicepresidente esecutivo e general manager del Data Center and AI Group.
"Le aziende valutano considerazioni quali disponibilità, scalabilità, prestazioni, costi ed efficienza energetica. Intel Gaudi 3 si distingue come alternativa grazie a una combinazione convincente di rapporto prezzo-prestazioni, scalabilità e un vantaggio in termini di time-to-value", ha aggiunto Hotard.
L'acceleratore Gaudi 3 è prodotto con processo produttivo a 5 nanometri (di TSMC) ed è progettato in modo che tutte le sue unità interne - Matrix Multiplication Engine (MME), Tensor Processor Core (TPC) e interfacce di rete (NIC) operino in parallelo, accelerando tutte le fasi di gestione del carico.
Cuore di Gaudi 3 è un Compute Engine pensato per l'intelligenza artificiale che prevede 64 TPC e 8 MME. Ogni MME è capace di svolgere 64.000 operazioni parallele, garantendo un'elevata efficienza di calcolo e la capacità di gestire matrici complesse, un tipo di elaborazione fondamentale per gli algoritmi di deep learning. L'unità supporta diversi formati di dati, tra cui FP8 e BF16.
Gaudi 3 conta su 128 GB di memoria HBM2E per una bandwidth di 3,7 TB/s e 96 MB di SRAM a disposizione del chip per processare i grandi dataset dell'IA generativa - Gaudi 2 ha 96 GB di HBM2E e 48 MB di SRAM.
Ogni acceleratore Gaudi 3 conta 24 porte Ethernet da 200 gigabit per scalare da un singolo nodo a migliaia e rispettare così i requisiti dei modelli GenAI (Gaudi 2 prevede 24 porte Ethernet 100 Gbit). Intel parla di cluster da 1024 nodi, con 8192 acceleratori Gaudi 3 per una potenza di calcolo FP8 di 15 ExaFLOPs, 1 petabyte di memoria e una bandwidth di rete di 1,229 petabyte al secondo.
Oltre al formato OAM (Open Accelerator Module), il cui TDP è pari a 900 W quando viene utilizzato il raffreddamento ad aria, Gaudi 3 è disponibile anche come scheda PCI Express. Le due soluzioni offrono le stesse prestazioni - 1835 TFLOPs con calcoli FP8 di picco - mentre in termini di richiesta energetica si parla di 600W per il modello PCIe: la differenza è che, per via del TDP inferiore, quel picco sulla scheda PCIe sarà raggiungibile solo momentaneamente. Entrambe le configurazioni mantengono i 128 GB di memoria a 3,7 TB/s. La Universal Baseboard prevede otto acceleratori Gaudi 3 per prestazioni di calcolo fino a 14,6 PFLOPs (FP8) e oltre 1 TB di memoria HBM2E per una bandwidth di 29,6 TB/s.
Secondo Intel, l'acceleratore Gaudi 3 è più veloce del 50% rispetto a un acceleratore NVIDA H100 nel tempo di addestramento di modelli Llama2 con 7 e 13 miliardi di parametri, ma anche GPT-3 con 175 miliardi di parametri.
Gaudi 3 offre un throughput di inferenza il 50% maggiore e un'efficienza il 40% maggiore con i modelli Llama 7B e 70B, oltre che quelli Falcon 180B. Intel parla di un vantaggio in termini di prestazioni di inferenza ancora maggiore in presenza di sequenze di input e output più lunghe.
Infine, Gaudi 3 è il 30% più veloce di NVIDIA H200 nell'inferenza su modelli Llama 7B e 70B e Falcon con 180 miliardi di parametri. Al momento Intel non presentato confronti relativamente agli acceleratori NVIDIA Blackwell annunciati di recente e in arrivo effettivamente nella seconda metà dell'anno.
Intel Gaudi 3 sarà disponibile per gli OEM nel secondo trimestre 2024 in configurazioni OAM e Universal Baseboard. Intel cita tra gli OEM pronti a portare Gaudi 3 sul mercato realtà del calibro di Dell Technologies, HPE, Lenovo e Supermicro.
La disponibilità generale dell'acceleratore Intel Gaudi 3 è prevista per il terzo trimestre del 2024, mentre la versione PCIe debutterà nell'ultimo trimestre dell'anno. L'acceleratore Intel Gaudi 3 alimenterà inoltre diverse infrastrutture LLM cloud destinate a formazione e inferenza. Tra i nuovi clienti Intel cita NAVER.
Al fine di accogliere al meglio il nuovo acceleratore, Intel ha reso accessibile via Intel Developer Cloud l'attuale modello Gaudi 2, in modo che gli sviluppatori possano realizzare il proprio software e migrare il codice senza problemi nel passaggio a Gaudi 3. Quest'ultimo sarà disponibile su Intel Developer Cloud nella seconda metà dell'anno.
Intel ritiene che Gaudi 3 sarà fondamentale per Falcon Shores, la GPU di Intel di prossima generazione per IA e calcolo HPC. Falcon Shores "integrerà Gaudi e la proprietà intellettuale Xe" in una singola soluzione basata sulla specifica Intel oneAPI.
4 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoPerché ogni bit richiede 6 o 8 transistor
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".