Meta svela la seconda generazione di MTIA, ecco le novità del nuovo acceleratore di IA

Meta Training and Inference Accelerator (MTIA) giunge alla seconda generazione. Il nuovo chip custom della società guidata da Zuckerberg offre prestazioni migliori e maggiore efficienza nella gestione dei modelli che si occupano di mostrare agli utenti pubblicità mirate.
di Manolo De Agostini pubblicata il 11 Aprile 2024, alle 06:41 nel canale Schede VideoMeta
Meta ha annunciato la seconda generazione di Meta Training and Inference Accelerator (MTIA), un chip AI custom che la società guidata da Mark Zuckerberg impiegherà per potenziare modelli di classificazione e raccomandazione delle pubblicità. Il suo arrivo era stato "previsto" con il nome in codice Artemis.
Meta Training and Inference Accelerator offre "prestazioni significativamente migliori" rispetto a MTIA v1 e s'inserisce nell'infrastruttura della società "per fornire nuove e migliori esperienze nei nostri prodotti e servizi".
Per farlo, Meta deve puntare anzitutto sull'efficienza. "Questo acceleratore di inferenza fa parte del nostro più ampio programma di sviluppo full-stack di chip custom per i nostri carichi di lavoro e sistemi unici. Questa nuova versione di MTIA garantisce una potenza di calcolo e una larghezza di banda più che raddoppiate rispetto alla nostra soluzione precedente, pur mantenendo uno stretto legame con i nostri carichi di lavoro".
Per realizzare MTIA v2, Meta si è affidata al processo produttivo a 5 nm di TSMC, un passo avanti rispetto ai 7 nanometri precedenti. Questo ha permesso di aumentare la frequenza, da 800 MHz a 1,35 GHz, e altre caratteristiche chiave portano il chip ad avere dimensioni di 421 mm2 e un TDP di 90W, un netto incremento rispetto ai precedenti 373mm2 e 25W.
Caratteristiche di MTIA v1 e MTIA v2 - Clicca per ingrandire
Il chip presenta una griglia 8x8 di Processing Element (PE), i quali forniscono prestazioni di calcolo 'dense' significativamente migliori, si parla di oltre 3,5 volte rispetto a MTIA v1, e prestazioni di calcolo 'sparse' migliorate di ben 7 volte.
"Ciò deriva in parte dai miglioramenti nell'architettura associata alla gestione dell'elaborazione sparse. Dipende anche dal modo in cui alimentiamo la griglia PE: abbiamo triplicato le dimensioni dello storage PE locale, raddoppiato la SRAM all'interno del chip (da 128 a 256 MB, ndr) e aumentato la sua larghezza di banda di 3,5 volte e raddoppiato la capacità della memoria LPDDR5".
Rinnovata anche l'architettura network on chip (NoC), per un raddoppio della bandwidth e la possibilità di coordinare i differenti PE a bassa latenza. "Queste e altre nuove funzioni nei PE costituiscono le tecnologie vitali per la roadmap a lungo termine destinata ad adattare MTIA a una varietà di carichi di lavoro più ampia e impegnativa".
Oltre al chip, Meta ha curato anche il sistema hardware e lo stack software essenziali al funzionamento dell'acceleratore. La società ha creato un sistema rack in grado di contenere fino a 72 acceleratori, basato su tre chassis, ognuno con 12 board: ogni board contiene 2 acceleratori ciascuna. "Questa densità ci consente di soddisfare più facilmente un'ampia gamma di complessità e dimensioni dei modelli". Un'altra novità riguarda il passaggio al PCIe Gen5, sia per la comunicazione tra acceleratori che tra il sistema e le nuove soluzioni MTIA v2.
"I risultati visti finora mostrano che questo chip MTIA può gestire modelli di classificazione e raccomandazione, componenti dei prodotti di Meta, sia a bassa che alta complessità. Lungo questi modelli, può esserci una differenza tra 10 e 100 volte nella dimensione del modello e nella quantità di calcolo per input sample. Dato che controlliamo l'intero stack, possiamo raggiungere una maggiore efficienza rispetto alle GPU commercialmente disponibili", spiega Meta.
"Ottenere questi progressi è uno sforzo continuo e proseguiamo nel miglioramento delle prestazioni per watt man mano che sviluppiamo e distribuiamo chip MTIA nei nostri sistemi. I primi risultati mostrano che questo chip ha già migliorato le prestazioni di 3 volte rispetto alla prima generazione su quattro modelli chiave che abbiamo valutato. A livello di piattaforma, con il doppio del numero di dispositivi e una potente CPU a 2 socket, siamo in grado di ottenere un throughput verso il modello 6 volte superiore e un miglioramento delle prestazioni per watt di 1,5 volte".
MTIA è stato implementato nei datacenter e ora serve i modelli in produzione. Secondo Meta, l'acceleratore è "altamente complementare alle GPU disponibili in commercio nel fornire il mix ottimale di prestazioni ed efficienza sui nostri carichi di lavoro specifici".
Altre società impegnate nel campo dell'IA come Google, Microsoft e Amazon hanno iniziato a progettare i chip IA di cui hanno bisogno per diverse ragioni: la prima è che la domanda di potenza di calcolo è in costante aumento, la seconda è la necessità di ottimizzare le rispettive infrastrutture per l'efficienza e la terza è quella di non dipendere da NVIDIA o altri produttori di GPU, sia da un punto di vista contrattuale (denaro) che di allocazione delle consegne.
Non è dato sapere se, miglioramento dopo miglioramento, questi grandi colossi cercheranno di coprire interamente le rispettive necessità con i progetti interni o continueranno ad avere infrastrutture basate su un mix di acceleratori, interni ed esterni.
0 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoDevi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".