Micron annuncia la memoria HBM3 Gen2 con bandwidth fino a 1,2 TB/s

La società statunitense ha annunciato l'avvio della fase di sampling di memoria HBM3 Gen2, fondamentale per il mondo dell'intelligenza artificiale. Micron introduce una memoria più densa, veloce ed efficiente rispetto alla concorrenza.
di Manolo De Agostini pubblicata il 27 Luglio 2023, alle 09:21 nel canale MemorieMicronHBM
Micron ha annunciato l'avvio della fase di sampling di memoria HBM3 Gen2 da 24 GB (8-Hi, ovvero formata da otto die da 24 Gbit) capace di garantire un'ampiezza di banda superiore a 1,2 TB/s con una velocità per pin di oltre 9,2 Gb/s. La produzione in volumi partirà nel primo trimestre del prossimo anno.
La società statunitense ha deciso di usare la dicitura "Gen2" per porre l'accento sulle caratteristiche della sua HBM3, superiori alle prime soluzioni introdotte da altre società. Micron, insomma, è arrivata dopo gli altri con le HBM3 ma con un prodotto altamente competitivo, e vuole sottolinearlo.
Sebbene la memoria HBM possa essere usata virtualmente ovunque - in passato l'abbiamo vista anche su schede video consumer - la sua applicazione attuale guarda anzitutto al mondo dell'intelligenza artificiale, in primis gli acceleratori come quelli di NVIDIA, AMD e Intel. La nuova memoria HBM3 Gen2 rappresenta un tassello fondamentale per ridurre i tempi di allenamento dei grandi modelli linguistici come GTP-4 e successivi.
"Con 24 GB di capacità e oltre 9,2 Gb/s di velocità pin, il tempo di addestramento dei modelli linguistici di grandi dimensioni è ridotto di oltre il 30% e si traduce in un TCO inferiore. Inoltre, la nostra proposta garantisce un aumento significativo delle query al giorno, consentendo di usare i modelli addestrati in modo più efficiente. Le migliori prestazioni per watt della memoria HBM3 Gen2 consentono risparmi tangibili sui costi dei moderni datacenter. Per un'installazione di 10 milioni di GPU, si stima che ogni cinque watt di risparmio energetico per chip HBM riduca le spese operative fino a 550 milioni di dollari in cinque anni", sottolinea la società.
Micron afferma che la HBM3 Gen2 da 24 GB consentirà di creare sottosistemi di memoria HBM3 a 4096 bit con una bandwidth di 4,8 TB/s ma anche soluzioni con bus a 6096 bit e bandwidth di 7,2 TB/s. Attualmente, l'acceleratore NVIDIA H100 in formato SMX raggiunge una bandwidth di picco di 3,35 TB/s.
La nuova soluzione di Micron viene prodotta con processo 1β (1-beta), fondamentale per permettere di raggiungere quella capacità. La casa statunitense ha però già ben chiaro il prossimo passo da compiere, con una soluzione da 36 GB basata su 12 stack per cui si prevede la fase di sampling nel primo trimestre 2024 e la produzione in volumi nella seconda metà dell'anno.
Infine, nella roadmap che vedete sopra Micron ha già tratteggiato le caratteristiche di HBMNext, una possibile HBM4, in grado di toccare una bandwidth di 1,5 TB/s - 2+ TB/s e assicurare capacità fino a 64 GB.
1 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoDevi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".