Gaudi 3, debutta il nuovo acceleratore IA di Intel: focus sul prezzo

Gaudi 3, debutta il nuovo acceleratore IA di Intel: focus sul prezzo

Dopo mesi di anticipazioni, Intel ha formalmente annunciato Gaudi 3, il nuovo acceleratore per carichi di intelligenza artificiale. Disponibile nel corso del quarto trimestre, la nuova proposta punta a trovare un suo spazio puntando sul prezzo contenuto.

di pubblicata il , alle 10:21 nel canale Schede Video
Intelligenza ArtificialeIntelGaudi
 

Intel ha formalmente annunciato Gaudi 3, il nuovo acceleratore per carichi di intelligenza artificiale. La nuova soluzione di Intel sarà disponibile sui sistemi di Dell e Supermicro nel corso del quarto trimestre, ma anche su IBM Cloud e Intel Tiber Developer Cloud.

Le nuove proposte Gaudi 3 di Intel sono meno veloci delle soluzioni NVIDIA H100 e H200, le GPU che stanno dominando il mercato dell'IA, ma come annunciato al COMPUTEX di Taipei qualche mese fa, Intel punta a conquistare mercato affidandosi al minor prezzo e al TCO (total cost of ownership) inferiore.

Il cuore di Gaudi 3 è basato su due chiplet che contengono un totale di 64 tensor processor core, 8 matrix multiplication engine e 96 MB di SRAM on-die con una bandwidth di 19,2 TB/s. Gaudi 3 integra anche 24 interfacce 200 GbE e 14 media engine, capaci di gestire H.265, H.264, JPEG e VP9 per compiti di vision processing. Per quanto concerne la memoria, l'acceleratore prevede 128 GB di memoria HBM2E per una bandwidth di 3,67 TB/s.

Nonostante non sia al livello delle proposte NVIDIA, Gaudi 3 rappresenta un grande miglioramento rispetto a Gaudi 2, che dispone di 24 TPC, due MME e 96 GB di memoria HBM2E. Gaudi 3 può offrire fino a 1856 TFLOPS con operazioni tra matrici BF16/FP8 e fino a 28,7 TFLOPS con calcoli vettoriali BF16, il tutto in un TDP di circa 600W.

Specifiche alla mano, Gaudi 3 offre prestazioni a BF16 tra matrici leggermente inferiori (1856 contro 1979 TFLOPS) rispetto a H100, prestazioni FP8 tra matrici due volte inferiori (1856 contro 3958 TFLOPS) e prestazioni vettoriali BF16 decisamente più contenute (28,7 contro 1979 TFLOPS).

Saranno però le prestazioni reali, in rapporto al prezzo, a decretare successo o fallimento di Gaudi 3. In genere, il comportamento degli acceleratori dipende molto dall'ottimizzazione software e da altri fattori. Intel ha mostrato alcune slide in cui si afferma che Gaudi 3 può offrire un vantaggio significativo in termini prestazionali rispetto all'H100 di NVIDIA.

In passato Intel ha dichiarato che un kit basato su otto acceleratori Gaudi 3 su una baseboard costano 125.000 dollari, il che significa che ogni scheda costa circa 15.625 dollari. Per contro, NVIDIA H100 è disponibile a 30.678 dollari. Tuttavia, con i vantaggi potenzialmente enormi in termini di prestazioni offerti dalle GPU B100/B200 Blackwell, resta da vedere Intel sarà in grado di mantenere confermare il vantaggio e mantenersi competitiva. 

7 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Pkarer25 Settembre 2024, 10:32 #1

Speriamo abbia successo

Ci vuole un po' di concorrenza contro NVIDIA.
Fantapollo25 Settembre 2024, 10:56 #2
Una nuova magia di Intel?

Sono anche curioso di vedere i benchmark della NPU di Arrow Lake,
tra qualche settimana sapremo
DevilsAdvocate25 Settembre 2024, 11:43 #3
Parliamone, uscirà circa quando Blackwell, ma si confronta con Hopper, dice di avere almeno vantaggio sulla cost efficiency, ma non c'è un solo grafico di performance/Watt....

C'è qualche dubbio sul fatto che sarà un FLOP?
WarSide25 Settembre 2024, 13:03 #4
Originariamente inviato da: mally
infatti non parlano di efficienza, ma di basso costo...


Nel basso costo devi metterci anche la parte SW. NVIDIA è in posizione dominante perché tutti supportano il loro hw. Intel non vince vendendo per 2 noccioline le schede, ma creando un ecosistema e facendo capire agli acquirenti che domani non si svegliano e cancellano tutto.
AlexSwitch25 Settembre 2024, 13:11 #5
Mah... altro polmone IA marchiato Intel! Venderà qualcosina, sicuramente, ma siamo parecchio lontani da Nvidia ed oggi si vuole soprattutto la performance!
Unrue25 Settembre 2024, 13:59 #6
Ma LLama 2 è vecchio (relativamente parlando). Niente con LLama 3?
ninja75025 Settembre 2024, 14:13 #7
Originariamente inviato da: Fantapollo
Una nuova magia di Intel?

Sono anche curioso di vedere i benchmark della NPU di Arrow Lake,
tra qualche settimana sapremo


se intendevi lunar, recensito da molti ieri su quell'aspetto è al top

anche consumi molto buoni

prestazioni meh

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^