[Apple80]

Originariamente inviato da CrapaDiLegno

Se non riesci a produrre chip così grandi e compatti (e per ora nessuno ci è riuscito) non riesci a ottenere l'efficienza energetica che ha Nvidia e visto la quantità spropositata di energia necessaria per far andare un data center AI, il risparmio da questo punto di vista conta parecchio, più del prezzo del chip stesso.
Aggiunta a questa cosa c'è la capacità di scale-out dei chip Nvidia, che vuol dire la loro capacità di funzionare efficacemente anche in package separati e distribuiti in sistemi separati. Ad oggi nessuno, ma proprio nessuno, è in grado di eguagliare Nvidia da questo punto di vista con le sue soluzioni di comunicazione altamente specializzate. Molti avevano detto che l'acquisto di Mellanox era una sciocchezza che non avrebbe portato nulla dei soldi spesi per acquistarla. Qualche anno dopo abbiamo come risultato i più veloci switch di connessione mai realizzati per connettere un numero spropositato di schede. Velocità e integrazione che diventeranno imprendibili con l'arrivo dell'uso della fibra ottica con Rubin.
Chi inneggia alle capacità AMD dovrebbe sapere che tutte le GPU realizzate fino ad oggi scalano solo su sistemi concentrati fino a 8 schede,. Oltre le prestazioni diventano simili a quelle di un Commodore 64 e quindi non sono indicate per fare un bel nulla a livello di data center.
Le prossime GPU insieme ai prossimi chip di networking di AMD (realizzati tramite acquisto di una azienda esterna nel 2022 perché hanno capito che l'integrazione efficace di più sistemi è fondamentale per andare oltre ai benchmark realizzati sulla carta per far godere i suoi fanboy e basta) sono indirizzate a colmare questo gap. Ma stiamo parlando sempre di domani, le aziende che operano nell'AI vogliono le cose funzionati al meglio ieri.

Alla fine quindi, se vuoi realizzare un chip con potenza computazionale simile a quello di Nvidia devi realizzare un chip con la stessa complessità. Il che significa saper mettere insieme un centinaio di miliardi di transistor e sapere come rendere il tutto efficiente, e non una piastrella che consuma energia per riscaldare la stanza. Il che ha un costo in termini di R&D veramente notevole e alla fine un costo di produzione che non è tanto diverso da quello per cui Nvidia ti vende le sue GPU. Nel frattempo hai perso il supporto alla costruzione del data center da parte di NVidia e dei fornitori del suo HW che ti offrono tutto quanto è necessario dalla A alla Z e le apparecchiature per uno scale-out ottimale e il supporto a CUDA, quindi ti tocca scrivere le librerie e i programmi di supporto da zero e sperare che tutto questo porti ad un consumo energetico inferiore (molto improbabile) per risparmiare.

Il fatto che sia ad uso interno non è un caso. Probabilmente il progetto è semplicemente una architettura di Broadcomm (che fa chip AI da mettere nelle lavatrici o poco più) leggermente modificata e ne avranno ordinati un qualche migliaio giusto per vedere come funzionano IN INFERENZA rispetto alle GPU Nvidia e far credere agli investitori che sono in procinto di eliminare la più grande voce di spesa dell'azienda, che è l'affitto delle GPU Nvidia dei data center altrui, si veda l'ultimo accordo con Oracle che forse ha un po' spaventato tutti.
Investitori che per ora ci hanno messo un sacco di quattrini e non solo non hanno visto un solo dollaro tornare, ma non hanno neppure la più pallida idea di quando questo avverrà e OpenAI deve tenerseli buoni per evitare un finale epocale.

Grazie per la spiegazione dettagliata. Sembra che sia ancora una tecnologia acerba. Forse dato dal fatto che non è ancora cosi diffusa su larga scala.