Samsung HBM-PIM, la memoria con il cervello promette bene: più prestazioni e meno consumi per IA e HPC

Svelata nel febbraio 2021, la memoria HBM-PIM (dove PIM sta per Processing In-Memory) di Samsung torna a far parlare di sé e promette grandi cose. Rispetto a una tradizionale High Bandwidth Memory, la nuova soluzione è dotata di capacità di calcolo "on board" per compiti di intelligenza artificiale e non solo. Chiamarla memoria è quindi riduttivo in un certo senso, è qualcosa di più.

La tecnologia PIM nasce per migliorare le prestazioni e l'efficienza energetica spostando parte del lavoro di calcolo dal processore all'interno della memoria. Nei sistemi senza PIM, il processore chiama ed esegue i comandi dalla memoria e salva i risultati nello storage. Ciò richiede lo spostamento avanti e indietro di grandi quantità di dati, il che richiede molta più energia rispetto alla semplice elaborazione dei dati.

PIM ottimizza questo processo riducendo lo spostamento dei dati tra CPU e memoria. Samsung ha bussato alla porta di AMD per mettere alla prova la sua HBM-PIM su un acceleratore commerciale: la nuova soluzione è stata installata a bordo di un acceleratore Instinct MI100. Ben 96 Instinct MI100 "modificati" sono stati inseriti in un cluster e messi alla prova con carichi di IA e HPC probanti.

Rispetto ai tradizionali acceleratori basati su GPU, dotati di semplice memoria HBM, le prestazioni sono mediamente più che raddoppiate e il consumo energetico è sceso di oltre il 50%. Choi Chang-kyu, a capo dell'AI Research Center del Samsung Advanced Institute of Technology (SAIT), ha spiegato durante una recente conferenza che con l'allenamento del modello T5 di Google si è registrato un incremento prestazionale di 2,5 volte a fronte di un consumo in calo di 2,67 volte rispetto agli acceleratori tradizionali.

Samsung afferma che con HBM-PIM è possibile "ridurre di 2100 GWh l'energia annuale richiesta e abbattere per 960 mila tonnellate le emissioni di carbonio, la quantità assorbita da 16 milioni di piante urbane in 10 anni".

La società sudcoreana spera di stimolare l'adozione della tecnologia puntando sul layer di astrazione gratuito e multipiattaforma SYCL. Come sempre, infatti, l'hardware non può nulla senza la compatibilità e la diffusione di software che sappiano sfruttarlo a dovere. Parallelamente a questo "esperimento" con AMD, Samsung ha svelato in passato che intende implementare PIM anche su DRAM più tradizionali con AXDIMM, abbreviazione di Acceleration DIMM e soluzioni LPDDR5-PIM per smartphone e altri dispositivi mobile.