NVIDIA: la CPU Grace è circa 2 volte più veloce a parità di consumi rispetto alle CPU di AMD e Intel

Durante Hot Chips 2023, il chief scientist e vicepresidente senior della ricerca di NVIDIA Bill Dally ha parlato di intelligenza artificiale, mentre in un keynote correlato ARM, disquisendo dei core Neoverse V2, ha mostrato le capacità di NVIDIA Grace CPU Superchip, il microprocessore per server equipaggiato con un totale di 144 core. Alcuni grafici lo vedono uscire nettamente vincente su AMD EPYC Genoa e Intel Xeon Sapphire Rapids in configurazioni dual-socket, almeno relazionando le prestazioni e i consumi. Andiamo con ordine.

Clicca per ingrandire

"I progressi nell'intelligenza artificiale sono stati enormi, sono stati resi possibili dall'hardware ed è ancora controllato dall'hardware di deep learning", ha affermato Dally spiegando che servizi come ChatGPT sono il risultato, in gran parte, dei miglioramenti ottenuti dalle GPU nelle prestazioni di inferenza AI nell'ultimo decennio.

NVIDIA però guarda già avanti e per questo ha progettato un chip di test capace di raggiungere quasi 100 tera operations per watt su un LLM (large language model). "L'esperimento", spiega NVIDIA, "ha mostrato un modo energeticamente efficiente per accelerare ulteriormente i modelli Transformer utilizzati nell'intelligenza artificiale generativa. Abbiamo applicato l'aritmetica a quattro bit, uno dei numerosi approcci numerici semplificati che promettono miglioramenti futuri". Dally ha anche discusso dei modi per velocizzare i calcoli e risparmiare energia usando la matematica logaritmica, un approccio NVIDIA illustrato in un brevetto del 2021.

Nel suo intervento ha anche affrontato una mezza dozzina di altre tecniche per adattare l'hardware a specifici compiti di intelligenza artificiale, spesso definendo nuovi tipi di dati o operazioni. "È un momento divertente per essere un ingegnere informatico perché stiamo consentendo questa enorme rivoluzione nell'intelligenza artificiale, e non ci siamo ancora pienamente resi conto di quanto sarà grande", ha detto Dally.

Infine, per arrivare a NVIDIA Grace CPU Superchip con core Neoverse V2, ARM ha evidenziato come a parità di consumi i server con Grace offrano fino a 2 volte più throughput degli attuali server x86 lungo una gamma di carichi di lavoro. Questo si deve al fatto la board di NVIDIA ha un consumo di picco di 500W, mentre le soluzioni di confronto di AMD e Intel toccano rispettivamente 720W e 700W.

Clicca per ingrandire

Grace, infatti, è stato messo a confronto con server dotati di due EPYC 9654 per un totale di 192 core Zen 4, mentre sul fronte Intel sono stati usati due Xeon Platinum 8480+ con 112 core Golden Cove. D'altronde Grace prevede sulla board due die con 72 core Neoverse V2 ciascuno, collegati da NVLink con una bandwidth di 900 GB/s. Insieme ai core c'è anche, per la prima volta per una CPU server, un elevato quantitativo di memoria LPDDR5X. Ulteriori informazioni su Grace CPU Superchip le trovate qui.