AI Research SuperCluster (RSC), il supercomputer di Meta stupisce: quasi 5 exaflops per il metaverso

Meta, la casa madre delle proprietà della galassia Zuckerberg, ha annunciato AI Research SuperCluster (RSC), un nuovo supercomputer per calcoli di intelligenza artificiale che "crediamo sia tra i più veloci oggi e sarà il più veloce nel mondo quando sarà completato a metà 2022". I ricercatori di Meta stanno già usando RSC per "allenare grandi modelli per la ricerca nell'elaborazione naturale del linguaggio e la visione artificiale, con l'obiettivo di formare un giorno modelli formati da mille miliardi di parametri".

Tutto questo permetterà a Meta di creare intelligenze artificiali non solo più avanzate, ma anche completamente nuove, ad esempio capaci di "consentire traduzioni vocali in tempo reale per grandi gruppi di persone, ognuna delle quali parla una lingua diversa, in modo che possano collaborare senza problemi a un progetto di ricerca o giocare insieme in realtà aumentata".

Migliorerà anche la moderazione dei contenuti sui social network, ma soprattutto il lavoro svolto con RSC "spianerà la strada alla creazione di tecnologie per la prossima grande piattaforma informatica: il metaverso, in cui le applicazioni e i prodotti basati sull'intelligenza artificiale giocheranno un ruolo importante".

Al momento il cuore pulsante di RSC è formato da 760 sistemi NVIDIA DGX A100, al cui interno vi sono un totale di 6080 GPU NVIDIA A100. Le GPU comunicano tra loro mediante un'interconnessione NVIDIA Quantum a 200 Gb/s e lo storage è formato da 175 PB di Pure Storage FlashArray, 46 PB di cache in sistemi Penguin Computing Altus e 10 PB di Pure Storage FlashBlade.

Nel corso del 2022 Meta aumenterà il numero di GPU portandolo da 6080 a 16000, incrementando le prestazioni di addestramento delle IA di 2,5 volte grazie a una potenza FP16 (mixed precision) vicina ai 5 exaflops.

RSC, rispetto alla precedente infrastruttura di Meta (risalente al 2017 e formata da 22.000 GPU NVIIDA V100), è in grado di processare flussi di lavoro di visione artificiale fino a 20 volte più celermente, eseguire la NVIDIA Collective Communication Library (NCCL) oltre 9 volte più velocemente e addestrare modelli NLP su larga scala 3 volte più rapidamente. Ciò significa che un modello con decine di miliardi di parametri può completare l'allenamento in tre settimane, rispetto alle nove settimane necessarie in precedenza.

Meta assicura che RSC è stato progettato da zero con la privacy e la sicurezza in mente, in modo che i ricercatori di Meta possano addestrare in sicurezza modelli usando dati crittografati generati dagli utenti che non vengono decifrati fino a poco prima dell'addestramento. "RSC è isolato dalla rete Internet, senza connessioni dirette in entrata o in uscita e il traffico può fluire solo dai datacenter di produzione di Meta", sottolinea l'azienda.

L'intero percorso dei dati dai sistemi di storage alle GPU è crittografato end-to-end e dispone degli strumenti e dei processi necessari per verificare che questi requisiti siano sempre soddisfatti. Prima che i dati vengano importati in RSC, questi vengono sottoposti a un processo di revisione della privacy per confermare che siano stati anonimizzati correttamente.

I dati vengono quindi crittografati prima di poter essere usati per addestrare modelli di intelligenza artificiale e le chiavi vengono eliminate regolarmente per garantire che i dati meno recenti non siano ancora accessibili. E poiché i dati vengono decrittografati solo su un endpoint, in memoria, questa rappresenta un'ulteriore salvaguardia anche "nell'improbabile eventualità di una violazione fisica della struttura", conclude l'azienda.