Micron ha avviato la produzione in volumi di memoria HBM3E

Micron ha avviato la produzione in volumi di memoria HBM3E

Micron ha avviato la produzione in volumi di memoria HBM3E per gli acceleratori di NVIDIA, da H200 a GH200, entrambi dotati di 141 GB di memoria. Le soluzioni di Micron prevedono 24 GB di capacità e una bandwidth superiore a 1,2 TB/s.

di pubblicata il , alle 06:51 nel canale Memorie
MicronHBM
 

Micron Technology ha annunciato di aver avviato la produzione in volumi di memoria HBM3E (High Bandwidth Memory 3E), ribattezzata dall'azienda anche HBM3 Gen2, la memoria che muove le ultime soluzioni di intelligenza artificiale di NVIDIA, H200 e GH200, in arrivo nel corso del secondo trimestre.

È una buona notizia, oltre che per NVIDIA e Micron, anche per il mercato stesso, e per diverse ragioni: i due update annunciati da NVIDIA offrono maggiori prestazioni rispetto alle versioni precedenti e potrebbero alleviare, seppur solo in parte, la situazione di pesante shortage che il settore dell'IA sta vivendo.

La memoria HBM3E della società statunitense offre velocità superiori a 9,2 gigabit al secondo (Gb/s) per pin, garantendo una bandwidth maggiore di 1,2 terabyte al secondo (TB/s). Micron riporta anche un'efficienza maggiore di circa del 30% circa rispetto alle offerte concorrenti.

Per quanto riguarda la capacità, Micron realizza soluzioni da 24 GB con processo 1-beta che consentono a NVIDIA di installare sull'acceleratore H200 ben 141 GB di memoria a 4,8 TB/s, "quasi il doppio della capacità e una larghezza di banda 2,4 volte maggiore rispetto al predecessore NVIDIA A100".

HBM, la memoria dell'intelligenza artificiale, senza AMD Fiji non sarebbe nata: il racconto di Raja Koduri

Accanto alla GPU NVIDIA ci sono sei package da 24 GB, per un totale di 144 GB, anche se solo 141 GB sono effettivamente sfruttabili. L'incarnazione precedente dell'acceleratore - tuttora in commercio - si affida a HBM3 da 16 GB, per un totale di 96 GB di cui solo 80 GB accessibili.

Micron, però, non si ferma qui: la società ha già campionato soluzioni HBM3E 36 GB 12-High. Probabilmente ne sapremo di più alla NVIDIA GPU Technology Conference di NVIDIA che si terrà a metà marzo, appuntamento in cui ci si aspetta un annuncio sul prossimo acceleratore Blackwell B100. Infine, è bene ricordare che Micron ha già piani ben definiti per quanto riguarda la produzione di memoria HBM4 e HBM4E.

3 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
UtenteHD27 Febbraio 2024, 08:33 #1
Eh cambiera' tutto in maniera esponenziale, per questo tipo di memoria ho letto la storia ecc.. ma non ho capito perche' e' cosi' vitale per IA, per l'altissima velocita'? O per altri motivi?
Per lo shortage di Nvidia sara' risolto quando inizieranno ad inserire NPU ovunque e la GPU sara' solo di extra supporto o lavoro parallelo.
coschizza27 Febbraio 2024, 08:58 #2
Originariamente inviato da: UtenteHD
Eh cambiera' tutto in maniera esponenziale, per questo tipo di memoria ho letto la storia ecc.. ma non ho capito perche' e' cosi' vitale per IA, per l'altissima velocita'? O per altri motivi?
Per lo shortage di Nvidia sara' risolto quando inizieranno ad inserire NPU ovunque e la GPU sara' solo di extra supporto o lavoro parallelo.


le npu non servono a nulla vanno una frazione della velocita di una gpu entry level quindi te ne fai poco nulla solo la gpu ha le prestazioni necessarie
Le HBM3E sono viutali perche hanno una grande banda con una latenza molto bassa non esiste altra tecnologia comparabile
supertigrotto27 Febbraio 2024, 10:30 #3
Sugli acceleratori per IA fanno la differenza perché hanno bisogno di manipolare un sacco di dati alla volta,il MIT sta lavorando sui memristori per fare la stessa cosa ma con molta meno energia e più efficienza.
Secondo me questo è solo un periodo di transizione,le nuove tecnologie su cui stanno lavorando promettono di fare meglio e di consumare di meno, finché può,Nvidia deve fare cassa,ma pure AMD e pure Intel se riescono a prendersi una fettina di mercato di acceleratori IA.
Per ora gli acceleratori di Nvidia sono quelli che attualmente sono pronti sia a livello di hardware e di software,quindi pappa già pronta e calda all' uso e il mercato compra quello ma già i clienti stanno ordinando gli acceleratori AMD anche se in proporzione bassa,ma è sempre tecnologia in parte derivata dalle GPU.
Quando sul mercato verranno introdotte nuove architetture,le cose cambieranno, è solo questione di tempo.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^