Intel ribadisce: Gaudi 2 è la vera alternativa accessibile a NVIDIA. Per dimostrarlo punta sui test di settore

Intel ha pubblicato i nuovi benchmark relativi a Gaudi 2, il suo acceleratore per l'elaborazione IA e l'intelligenza artificiale generativa. I risultati sono basati sul nuovo test MLPerf Training 4.0 che valuta le performance dell'intero sistema, dai consumi all'esecuzione degli applicativi.

Prima di procedere con i risultati ottenuti da Intel, va sottolineato che il nuovo MLPerf Training 4.0 amplia la suite di test con 205 risultati prestazionali i cui parametri sono stati individuati con la partecipazione di 17 società specializzate nello sviluppo dell'intelligenza artificiale tra cui Intel, Dell, Fujitsu, Google, Lenovo e NVIDIA solo per citarne alcuni.

Perché Gaudi 2 svolge un ruolo fondamentale nello sviluppo e nella diffusione dell'IA? Stando ai dati pubblicati da Intel, l'acceleratore si dimostra conveniente e altamente scalabile così da adattarsi alle esigenze di ogni impresa e consentire l'accesso all'IA a un numero maggiore di aziende.

Per la prova, Intel ha sfruttato un sistema di grandi dimensioni dotato di 1.024 acceleratori Gaudi 2. Addestrata su Tiber Developer Cloud, nel test TTT (time-to-train) di GPT-3, il sistema di Intel ha segnato un tempo di 66,9 minuti dimostrando una solida scalabilità con i modelli linguistici di grandi dimensioni (ultra-large LLM).

La versione 4.0 della suite di MLCommons prevede, inoltre, un nuovo parametro: l'ottimizzazione di un modello Llama 2 70B con LoRa (low-rank adapters). Trattandosi di un'operazione comune tra consumatori e professionisti che sfruttano l'IA come supporto per le proprie attività, Intel ha svolto il test su un sistema da 8 acceleratori Gaudi 2 registrando un tempo di addestramento di 78,1 minuti.

Per dare un contesto, un singolo DGX H100 di NVIDIA con 8 GPU H100 ha completato il test in poco più di 28 minuti. NVIDIA H200, con la stessa GPU ma 141 GB di memoria HBM3E, ha migliorato la performance del 14%, scendendo a 24,7 minuti. Con 1024 acceleratori H100 si scende a 1,5 minuti.

Quello usato da Intel è sostanzialmente lo "standard AI kit" presentato da Intel al Computex 2024, il quale include otto acceleratori Gaudi 2 e una universal baseboard (UBB) al costo di 65.000 dollari, circa un terzo rispetto alle proposte concorrenti. Inoltre, gli acceleratori AI di Intel forniscono l'accesso a Tiber Developer Cloud.

Quest'ultima è una piattaforma che semplifica la realizzazione e la distribuzione di modelli, applicazioni e altre soluzioni che sfruttano l'intelligenza artificiale, rendendo Gaudi 2 una scelta ancor più conveniente grazie anche alla sua natura open source che vanta il supporto di numerosi sviluppatori indipendenti.

"L'industria ha un'evidente necessità: colmare i gap nell'attuale offerta dell'IA generativa per le aziende con opzioni di calcolo ad alta efficienza e alte prestazioni. Gli ultimi risultati in MLPerf pubblicati da MLCommons dimostrano il valore unico che Intel Gaudi porta sul mercato per clienti e aziende alla ricerca di sistemi scalabili e convenienti con reti standard e software aperto, rendendo l'IA generativa accessibile a un numero maggiore di clienti" ha commentato Zane Ball, vicepresidente e general manager di Intel.

Il prossimo passo di Intel nel settore sarà Gaudi 3. Entro i prossimi mesi, Intel consegnerà i risultati del nuovo acceleratore che promette un considerevole balzo in avanti nelle prestazioni per l'addestramento dell'IA e l'inferenza con i più popolari modelli LLM. Gaudi 3 sarà disponibile presso gli OEM nell'autunno 2024 con un prezzo per il kit standard, composto da 8 acceleratori e UBB, pari a 125.000 dollari (due terzi del costo di piattaforme concorrenti comparabili).