Micron annuncia la memoria HBM3 Gen2 con bandwidth fino a 1,2 TB/s

Micron ha annunciato l'avvio della fase di sampling di memoria HBM3 Gen2 da 24 GB (8-Hi, ovvero formata da otto die da 24 Gbit) capace di garantire un'ampiezza di banda superiore a 1,2 TB/s con una velocità per pin di oltre 9,2 Gb/s. La produzione in volumi partirà nel primo trimestre del prossimo anno.

La società statunitense ha deciso di usare la dicitura "Gen2" per porre l'accento sulle caratteristiche della sua HBM3, superiori alle prime soluzioni introdotte da altre società. Micron, insomma, è arrivata dopo gli altri con le HBM3 ma con un prodotto altamente competitivo, e vuole sottolinearlo.

Clicca per ingrandire

Sebbene la memoria HBM possa essere usata virtualmente ovunque - in passato l'abbiamo vista anche su schede video consumer - la sua applicazione attuale guarda anzitutto al mondo dell'intelligenza artificiale, in primis gli acceleratori come quelli di NVIDIA, AMD e Intel. La nuova memoria HBM3 Gen2 rappresenta un tassello fondamentale per ridurre i tempi di allenamento dei grandi modelli linguistici come GTP-4 e successivi.

Clicca per ingrandire

"Con 24 GB di capacità e oltre 9,2 Gb/s di velocità pin, il tempo di addestramento dei modelli linguistici di grandi dimensioni è ridotto di oltre il 30% e si traduce in un TCO inferiore. Inoltre, la nostra proposta garantisce un aumento significativo delle query al giorno, consentendo di usare i modelli addestrati in modo più efficiente. Le migliori prestazioni per watt della memoria HBM3 Gen2 consentono risparmi tangibili sui costi dei moderni datacenter. Per un'installazione di 10 milioni di GPU, si stima che ogni cinque watt di risparmio energetico per chip HBM riduca le spese operative fino a 550 milioni di dollari in cinque anni", sottolinea la società.

Micron afferma che la HBM3 Gen2 da 24 GB consentirà di creare sottosistemi di memoria HBM3 a 4096 bit con una bandwidth di 4,8 TB/s ma anche soluzioni con bus a 6096 bit e bandwidth di 7,2 TB/s. Attualmente, l'acceleratore NVIDIA H100 in formato SMX raggiunge una bandwidth di picco di 3,35 TB/s.

Clicca per ingrandire

La nuova soluzione di Micron viene prodotta con processo 1β (1-beta), fondamentale per permettere di raggiungere quella capacità. La casa statunitense ha però già ben chiaro il prossimo passo da compiere, con una soluzione da 36 GB basata su 12 stack per cui si prevede la fase di sampling nel primo trimestre 2024 e la produzione in volumi nella seconda metà dell'anno.

Infine, nella roadmap che vedete sopra Micron ha già tratteggiato le caratteristiche di HBMNext, una possibile HBM4, in grado di toccare una bandwidth di 1,5 TB/s - 2+ TB/s e assicurare capacità fino a 64 GB.