Instinct MI325X è il nuovo acceleratore IA di AMD con 288 GB di memoria HBM3E

AMD ha scelto il Computex 2024 di Taipei per annunciare una novità nell'ambito degli acceleratori di IA della linea Instinct con la nuova proposta Instinct MI325X. Prima di entrare nel merito, un breve preambolo. Dopo l'introduzione dell'architettura CDNA con MI100, il passaggio a CDNA 2 con MI200, AMD ha introdotto nel 2023 la serie MI300, basata su architettura CDNA 3.

Si è trattato di un passaggio importante, che ha segnato lo sdoppiamento dell'offerta con MI300A e MI300X. La prima è una APU che ha fuso una CPU Zen 4 con una GPU CDNA 3, la seconda una "classica" GPU dedica per accelerare i carichi di IA.

Proprio Instinct MI300X è, secondo AMD, il prodotto che ha ricevuto l'accoglienza più calorosa nella sua storia, con realtà come Microsoft, Meta, Dell e molte altre che l'hanno subito adottata nelle loro infrastrutture.

Non stentiamo a crederlo data la fame di potenza di calcolo che segna questi tempi, unita al fatto che il settore cerca alternative a NVIDIA per non concentrare troppo potere su un'unica azienda.

Ed è sull'onda di questo successo che AMD ha annunciato che l'architettura CDNA passerà a una cadenza annuale: dopo MI300X l'anno scorso e la nuova soluzione MI325X quest'anno, entrambe basate su architettura CDNA 3, nel 2025 vedremo acceleratori Instinct basati sul progetto CDNA 4 (MI350 Series) seguiti nel 2026 da "CDNA Next".

Instinct MI325X adotta memoria HBM3E, rispetto alla HBM3 di MI300, per garantire una bandwidth più elevata, aumentando parallelamente la potenza di calcolo. AMD ha incrementato la bandwidth di memoria del 30% a 6 TB/s e incrementato la capacità portandola a 288 GB.

Il nuovo acceleratore, disponibile dal Q4 di quest'anno, è stato confrontato con H200, il migliore acceleratore della generazione Hopper di NVIDIA - che tuttavia proprio per quel periodo commercializzerà Blackwell e ha già anticipato l'arrivo di Blackwell Ultra.

Instinct MI325X offre fino al doppio della memoria HBM3E di NVIDIA H200 (288 vs 141 GB), una bandwidth di picco il 30% maggiore, potenza di calcolo sia in FP16 che in FP8 del 30% superiore e può gestire modelli fino a 1 trilione di parametri, il doppio di H200 secondo AMD.

AMD proporrà insieme ai partner sistemi con 8 di questi acceleratori Instinct MI325X per una potenza di calcolo di picco teorica di 10,4 petaflops in BF16/FP16, fino a 2,3 TB di memoria HBM3E e una bandwidth Infinity Fabric di circa 896 GB/s.

Per concludere, AMD ha anticipato che il prossimo acceleratore Instinct basato su architettura CDNA 4, chiamato Instinct MI350 Series, sarà prodotto a 3 nanometri, avrà 288 GB di memoria HBM3E e supporterà formati di dati FP4 e FP6, motivo per cui le prestazioni di inferenza aumenteranno di 35 volte rispetto a CDNA 3.