SOCAMM: sarà questa l'implementazione di AMD e Qualcomm per i cluster AI?

Uno dei principali colli di bottiglia attualmente per l'AI è la gestione della memoria, soprattutto con la diffusione di applicazioni di "agentic AI". Per tale ragione, secondo quanto riportato dai colleghi coreani di hankyung, Qualcomm e AMD starebbero valutando la memoria SOCAMM per i prossimi loro rack, affiancandosi a NVIDIA che ha già adottato questa soluzione.  

SOCAMM nasce come standard di memoria basato su LPDDR DRAM, tipologia diffusa nel settore mobile e nei dispositivi a basso consumo. A differenza di HBM e LPDDR5X, però, SOCAMM non risulta saldata direttamente sul PCB: il formato modulare consente l'aggiornamento e una maggiore flessibilità progettuale. Questa caratteristica rende SOCAMM una soluzione complementare all'HBM per la gestione di carichi di lavoro limitati dalla banda o dalla capacità della memoria.

Secondo quanto riportato, AMD e Qualcomm studiano un approccio tecnico differente rispetto a NVIDIA. La configurazione prevede un modulo quadrato con due DRAM disposte su due file separate, soluzione che permette di integrare il circuito PMIC direttamente sul modulo. Questo porterebbe diversi vantaggi rispetto alla soluzione adottata da NVIDIA: un controllo della tensione più preciso, una capacità di raggiungere velocità estreme in maniera stabile e una semplificazione delle schede madri, dato che non sarebbe necessario integrare i circuiti di gestione dell'alimentazione per la memoria.

L'interesse verso SOCAMM cresce anche per motivi legati alla capacità. SOCAMM permette di raggiungere capacità nell'ordine dei terabyte per CPU, con la possibilità di mantenere milioni di token attivi nella memoria di lavoro di un agente AI. Le prestazioni in termini di throughput restano inferiori rispetto all'HBM, ma il bilanciamento tra consumi e capacità elevata rende SOCAMM una soluzione concreta.

Sul fronte commerciale, NVIDIA prevede l'introduzione di SOCAMM 2 all'interno dei cluster AI Vera Rubin. Il fatto che anche AMD e Qualcomm valutino l'adozione dello standard lascia ipotizzare una diffusione più ampia nei cluster AI di prossima generazione, con un impatto diretto sull'utilizzo di DRAM LPDDR nel settore dei data center dedicati all'intelligenza artificiale.