Samsung HBM-PIM, la memoria con il cervello promette bene: più prestazioni e meno consumi per IA e HPC

Samsung HBM-PIM, la memoria con il cervello promette bene: più prestazioni e meno consumi per IA e HPC

Samsung ha collaborato con AMD per implementare su acceleratori Instinct MI100 la memoria HBM-PIM, una HBM equipaggiata con unità di calcolo per gestire direttamente in memoria carichi di IA e non solo. Con un minore ricorso a CPU e memoria di sistema, le prestazioni schizzano e consumi crollano.

di pubblicata il , alle 11:01 nel canale Server e Workstation
SamsungAMDRadeon InstinctHBM
 

Svelata nel febbraio 2021, la memoria HBM-PIM (dove PIM sta per Processing In-Memory) di Samsung torna a far parlare di sé e promette grandi cose. Rispetto a una tradizionale High Bandwidth Memory, la nuova soluzione è dotata di capacità di calcolo "on board" per compiti di intelligenza artificiale e non solo. Chiamarla memoria è quindi riduttivo in un certo senso, è qualcosa di più.

La tecnologia PIM nasce per migliorare le prestazioni e l'efficienza energetica spostando parte del lavoro di calcolo dal processore all'interno della memoria. Nei sistemi senza PIM, il processore chiama ed esegue i comandi dalla memoria e salva i risultati nello storage. Ciò richiede lo spostamento avanti e indietro di grandi quantità di dati, il che richiede molta più energia rispetto alla semplice elaborazione dei dati.

PIM ottimizza questo processo riducendo lo spostamento dei dati tra CPU e memoria. Samsung ha bussato alla porta di AMD per mettere alla prova la sua HBM-PIM su un acceleratore commerciale: la nuova soluzione è stata installata a bordo di un acceleratore Instinct MI100. Ben 96 Instinct MI100 "modificati" sono stati inseriti in un cluster e messi alla prova con carichi di IA e HPC probanti.

Rispetto ai tradizionali acceleratori basati su GPU, dotati di semplice memoria HBM, le prestazioni sono mediamente più che raddoppiate e il consumo energetico è sceso di oltre il 50%. Choi Chang-kyu, a capo dell'AI Research Center del Samsung Advanced Institute of Technology (SAIT), ha spiegato durante una recente conferenza che con l'allenamento del modello T5 di Google si è registrato un incremento prestazionale di 2,5 volte a fronte di un consumo in calo di 2,67 volte rispetto agli acceleratori tradizionali.

Samsung afferma che con HBM-PIM è possibile "ridurre di 2100 GWh l'energia annuale richiesta e abbattere per 960 mila tonnellate le emissioni di carbonio, la quantità assorbita da 16 milioni di piante urbane in 10 anni".

La società sudcoreana spera di stimolare l'adozione della tecnologia puntando sul layer di astrazione gratuito e multipiattaforma SYCL. Come sempre, infatti, l'hardware non può nulla senza la compatibilità e la diffusione di software che sappiano sfruttarlo a dovere. Parallelamente a questo "esperimento" con AMD, Samsung ha svelato in passato che intende implementare PIM anche su DRAM più tradizionali con AXDIMM, abbreviazione di Acceleration DIMM e soluzioni LPDDR5-PIM per smartphone e altri dispositivi mobile.

4 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Gringo [ITF]14 Dicembre 2022, 12:41 #1
Quindi alla fine .... A PARITA' di consumo e...... 7,02x ?
giovanni6914 Dicembre 2022, 14:54 #2
Cosa sarebbe un HTC probante?
supertigrotto14 Dicembre 2022, 18:59 #3
Chissà cosa succede se venisse implementata su una scheda video commerciale.....
Nurabsa15 Dicembre 2022, 08:16 #4
il top le memorie samsung non lo scopriamo di certo oggi.
Ha umiliato sk hynix gia ai tempi della gddr5 a parita di prodotto.
Questa notizia non stupisce hanno gli attributi parlando di memorie almeno da un decennio.
Suggerimento per amd cogli l occasione per un sorpasso vero sulle verdi. sforna una vga nettamente superiore e non appaiata a giacchino nero in pelle.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^