Gaudi 3, debutta il nuovo acceleratore IA di Intel: focus sul prezzo

Intel ha formalmente annunciato Gaudi 3, il nuovo acceleratore per carichi di intelligenza artificiale. La nuova soluzione di Intel sarà disponibile sui sistemi di Dell e Supermicro nel corso del quarto trimestre, ma anche su IBM Cloud e Intel Tiber Developer Cloud.

Le nuove proposte Gaudi 3 di Intel sono meno veloci delle soluzioni NVIDIA H100 e H200, le GPU che stanno dominando il mercato dell'IA, ma come annunciato al COMPUTEX di Taipei qualche mese fa, Intel punta a conquistare mercato affidandosi al minor prezzo e al TCO (total cost of ownership) inferiore.

Il cuore di Gaudi 3 è basato su due chiplet che contengono un totale di 64 tensor processor core, 8 matrix multiplication engine e 96 MB di SRAM on-die con una bandwidth di 19,2 TB/s. Gaudi 3 integra anche 24 interfacce 200 GbE e 14 media engine, capaci di gestire H.265, H.264, JPEG e VP9 per compiti di vision processing. Per quanto concerne la memoria, l'acceleratore prevede 128 GB di memoria HBM2E per una bandwidth di 3,67 TB/s.

Nonostante non sia al livello delle proposte NVIDIA, Gaudi 3 rappresenta un grande miglioramento rispetto a Gaudi 2, che dispone di 24 TPC, due MME e 96 GB di memoria HBM2E. Gaudi 3 può offrire fino a 1856 TFLOPS con operazioni tra matrici BF16/FP8 e fino a 28,7 TFLOPS con calcoli vettoriali BF16, il tutto in un TDP di circa 600W.

Specifiche alla mano, Gaudi 3 offre prestazioni a BF16 tra matrici leggermente inferiori (1856 contro 1979 TFLOPS) rispetto a H100, prestazioni FP8 tra matrici due volte inferiori (1856 contro 3958 TFLOPS) e prestazioni vettoriali BF16 decisamente più contenute (28,7 contro 1979 TFLOPS).

Saranno però le prestazioni reali, in rapporto al prezzo, a decretare successo o fallimento di Gaudi 3. In genere, il comportamento degli acceleratori dipende molto dall'ottimizzazione software e da altri fattori. Intel ha mostrato alcune slide in cui si afferma che Gaudi 3 può offrire un vantaggio significativo in termini prestazionali rispetto all'H100 di NVIDIA.

In passato Intel ha dichiarato che un kit basato su otto acceleratori Gaudi 3 su una baseboard costano 125.000 dollari, il che significa che ogni scheda costa circa 15.625 dollari. Per contro, NVIDIA H100 è disponibile a 30.678 dollari. Tuttavia, con i vantaggi potenzialmente enormi in termini di prestazioni offerti dalle GPU B100/B200 Blackwell, resta da vedere Intel sarà in grado di mantenere confermare il vantaggio e mantenersi competitiva.