Intel ribadisce: Gaudi 2 è la vera alternativa accessibile a NVIDIA. Per dimostrarlo punta sui test di settore

Intel ribadisce: Gaudi 2 è la vera alternativa accessibile a NVIDIA. Per dimostrarlo punta sui test di settore

Intel ha presentato i risultati di Gaudi 2, il suo ultimo acceleratore per l'intelligenza artificiale, in MLPerf. Secondo quanto condiviso, Gaudi 2 rappresenta la migliore alternativa accessibile e scalabile a NVIDIA H100.

di pubblicata il , alle 15:21 nel canale Schede Video
Intel
 

Intel ha pubblicato i nuovi benchmark relativi a Gaudi 2, il suo acceleratore per l'elaborazione IA e l'intelligenza artificiale generativa. I risultati sono basati sul nuovo test MLPerf Training 4.0 che valuta le performance dell'intero sistema, dai consumi all'esecuzione degli applicativi.

Prima di procedere con i risultati ottenuti da Intel, va sottolineato che il nuovo MLPerf Training 4.0 amplia la suite di test con 205 risultati prestazionali i cui parametri sono stati individuati con la partecipazione di 17 società specializzate nello sviluppo dell'intelligenza artificiale tra cui Intel, Dell, Fujitsu, Google, Lenovo e NVIDIA solo per citarne alcuni.

Perché Gaudi 2 svolge un ruolo fondamentale nello sviluppo e nella diffusione dell'IA? Stando ai dati pubblicati da Intel, l'acceleratore si dimostra conveniente e altamente scalabile così da adattarsi alle esigenze di ogni impresa e consentire l'accesso all'IA a un numero maggiore di aziende.

Per la prova, Intel ha sfruttato un sistema di grandi dimensioni dotato di 1.024 acceleratori Gaudi 2. Addestrata su Tiber Developer Cloud, nel test TTT (time-to-train) di GPT-3, il sistema di Intel ha segnato un tempo di 66,9 minuti dimostrando una solida scalabilità con i modelli linguistici di grandi dimensioni (ultra-large LLM).

La versione 4.0 della suite di MLCommons prevede, inoltre, un nuovo parametro: l'ottimizzazione di un modello Llama 2 70B con LoRa (low-rank adapters). Trattandosi di un'operazione comune tra consumatori e professionisti che sfruttano l'IA come supporto per le proprie attività, Intel ha svolto il test su un sistema da 8 acceleratori Gaudi 2 registrando un tempo di addestramento di 78,1 minuti.

Per dare un contesto, un singolo DGX H100 di NVIDIA con 8 GPU H100 ha completato il test in poco più di 28 minuti. NVIDIA H200, con la stessa GPU ma 141 GB di memoria HBM3E, ha migliorato la performance del 14%, scendendo a 24,7 minuti. Con 1024 acceleratori H100 si scende a 1,5 minuti.

Quello usato da Intel è sostanzialmente lo "standard AI kit" presentato da Intel al Computex 2024, il quale include otto acceleratori Gaudi 2 e una universal baseboard (UBB) al costo di 65.000 dollari, circa un terzo rispetto alle proposte concorrenti. Inoltre, gli acceleratori AI di Intel forniscono l'accesso a Tiber Developer Cloud.

Quest'ultima è una piattaforma che semplifica la realizzazione e la distribuzione di modelli, applicazioni e altre soluzioni che sfruttano l'intelligenza artificiale, rendendo Gaudi 2 una scelta ancor più conveniente grazie anche alla sua natura open source che vanta il supporto di numerosi sviluppatori indipendenti.

"L'industria ha un'evidente necessità: colmare i gap nell'attuale offerta dell'IA generativa per le aziende con opzioni di calcolo ad alta efficienza e alte prestazioni. Gli ultimi risultati in MLPerf pubblicati da MLCommons dimostrano il valore unico che Intel Gaudi porta sul mercato per clienti e aziende alla ricerca di sistemi scalabili e convenienti con reti standard e software aperto, rendendo l'IA generativa accessibile a un numero maggiore di clienti" ha commentato Zane Ball, vicepresidente e general manager di Intel.

Il prossimo passo di Intel nel settore sarà Gaudi 3. Entro i prossimi mesi, Intel consegnerà i risultati del nuovo acceleratore che promette un considerevole balzo in avanti nelle prestazioni per l'addestramento dell'IA e l'inferenza con i più popolari modelli LLM. Gaudi 3 sarà disponibile presso gli OEM nell'autunno 2024 con un prezzo per il kit standard, composto da 8 acceleratori e UBB, pari a 125.000 dollari (due terzi del costo di piattaforme concorrenti comparabili).

1 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Gringo [ITF]14 Giugno 2024, 12:28 #1
RIP 2010
Larrebee....
https://it.wikipedia.org/wiki/Larrabee_(hardware)

RIP 2024
Pontevecchio....
https://www.intel.com/content/www/u...s-overview.html

...bei progetti tutti buttat al macero....

Attendiamo la data per Gaudi 2 e 3....


Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^