Meta vuole dipendere meno da NVIDIA e accelera sul suo chip IA: si parte a settembre

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/me...re_156110.html

Un memo interno citato da Reuters rivela il piano di Meta per avviare a settembre la produzione dei chip AI proprietari del programma MTIA, con l'obiettivo di ridurre la spesa in GPU Nvidia e raddoppiare la potenza di calcolo entro il 2027

Click sul link per visualizzare la notizia.

[supertigrotto]

Riprendendo il commento che avevo fatto sull'articolo della Francia,forse Nvidia è stata un po' troppo commercialmente aggressiva e questo ha fatto in modo che i suoi clienti comincino a prendere le distanze.

[LMCH]

Originariamente inviato da supertigrotto

Riprendendo il commento che avevo fatto sull'articolo della Francia,forse Nvidia è stata un po' troppo commercialmente aggressiva e questo ha fatto in modo che i suoi clienti comincino a prendere le distanze.

C'é anche un elemento molto importante che spiega la corsa agli hardware "proprietari":
quando si fa inferenza il collo di bottiglia principale non é la GPU o la CPU ... é la larghezza di banda di I/O della RAM.

Visto che ora l'utilizzo dominante é per l'inferenza, per essere maggiormente competitivi sui costi bastano cluster di cpu e unita che eseguono fondamentalmente prodotti di tensori "sufficientemente potenti" da saturare il traffico da/verso ram.

Quindi é conveniente "farsi chip proprietari" (con core ARM64 o RV64, ecc. ecc.) perché lato inferenza costano comunque meno dando le massime prestazioni possibili con l'architettura di I/O da/verso la memoria prescelta, anzi, non serve neanche produrli con il processo produttivo piü avanzato, se consumano meno restano convenienti come scelta.

Lo si può verificare facendo girare LLM in locale: al di sopra di una certa potenza di calcolo della cpu, l'unica cosa che conta é la larghezza di banda della ram.