High Bandwidth Flash (HBF) 'sfida' la memoria HBM: possibili acceleratori IA con 4 terabyte di VRAM?

SanDisk sta lavorando su High Bandwidth Flash (HBF), un nuovo tipo di memoria che, oltre a offrire un'elevata capacità di storage, promette di garantire una larghezza di banda elevatissima, tipica della memoria HBM che domina il settore dell'intelligenza artificiale. L'azienda non ha ancora annunciato una data di debutto della nuova tecnologia o possibili partner, ma è sicura di avere un buon prodotto tra le mani, in grado di trovare un suo spazio sul mercato.

La memoria ideata da SanDisk consente l'accesso a più array 3D NAND ad alta capacità in parallelo, restituendo così il duplice beneficio già citato unito a consumi contenuti. La prima generazione di HBF permette di gestire fino a 4 TB di memoria su un singolo acceleratore, ma l'obiettivo è di spingersi oltre con le future iterazioni. Nonostante l'esempio cardine siano gli acceleratori IA destinati all'inferenza, SanDisk ritiene che questa tecnologia di memoria possa trovare spazio anche su smartphone e altri tipi di dispositivi.

"La chiamiamo tecnologia HBF perché migliora la memoria HBM per i carichi di lavoro di inferenza IA", ha dichiarato Alper Ilkbahar, responsabile della tecnologia di memoria di SanDisk. "Eguaglieremo la larghezza di banda della memoria HBM e offriremo una capacità da 8 a 16 volte superiore a un costo simile".

Il parallelo con la memoria HBM va oltre la bandwidth, ma riguarda anche il funzionamento. Per creare la memoria HBF, SanDisk ha impilato più die di memoria flash sopra a un die logico che può accedere agli array (o meglio ai sub-array) di memoria flash in parallelo. I die di memoria NAND sono interconnessi mediante TSV (through-silicon via). L'architettura alla base dell'HBF è la 3D NAND di SanDisk, meglio nota come BICS, basata su un design "CMOS directly bonded to Array" (CBA) che pone un array di memoria 3D NAND sopra un die di I/O.

"Abbiamo sfidato i nostri ingegneri chiedendo loro cos'altro si può fare con questa potenza di scalabilità", ha dichiarato Alper Ilkbahar. "La risposta che ci hanno dato [...] è stata quella di passare a un'architettura in cui dividiamo questo enorme array in molti, molti array e accediamo a ciascuno di questi array in parallelo. In questo modo si ottengono enormi quantità di larghezza di banda.  Ora, cosa possiamo costruirci con questo? Realizzeremo flash ad alta larghezza di banda".

L'innovazione chiave di HBF è la capacità di suddividere ogni die in molti piccoli sub-array a cui si può accedere in modo casuale in parallelo, anziché trattarli come piani e pagine più grandi basati su blocchi. Ciò consente di avere un'elevata bandwidth mantenendo i vantaggi di costo e capacità della 3D NAND.

Il tallone d'Achille della HBF rispetto alla HBM, e in generale della NAND flash rispetto alla DRAM, è la latenza. A causa della latenza più alta, la nuova architettura è destinata a carichi di inferenza IA ad alta intensità di lettura che necessitano di un'elevata bandwidth e capacità, ma che possono tollerare una latenza maggiore.

Per il momento, SanDisk afferma che la prima generazione di HBF utilizzerà 16 die HBF. L'azienda sostiene di aver inventato una tecnologia di impilamento proprietaria che presenta una deformazione minima per consentire l'impilamento di 16 "die core" HBF oltre a un die logico in grado di accedere simultaneamente ai dati da più die HBF.

Oltre alle latenze, rimangono altri punti da chiarire: SanDisk non ha detto come riuscirà a superare i limiti di resistenza alla scrittura tipici della 3D NAND e non ha fornito alcun dato numerico relativamente alla larghezza di banda raggiunta da HBF. Riuscirà a competere con l'attuale HBM3E o la futura HBM4?