OpenAI, il chip proprietario per l'AI è sempre più vicino (e le serve per smarcarsi da NVIDIA)

Pazzesco preferiscono farsi i chip in casa piuttosto che affidarsi a un'alternativa un po' piu' umile tipo AMD.

Progetto sicuramente fallimentare, è troppo complesso fare quello che fa Nvidia.

È solo un chip per uso limitato interno, in pratica serve solo a creare hype attorno ad OpenAI, specialmente quando si considera che il grosso dei finanziamenti ricevuti da OpenAI sono crediti per utilizzare le risorse computazionali di Azure e Google Cloud.
Ormai il giochino di Sam "one trick pony" Altman è sin troppo ovvio.

Appunto. Almeno lo vendessero...
Costi troppo alti per una cosa del genere

Google è da un bel po' che usa le sue TPU invece che acceleratori NVidia.
https://en.wikipedia.org/wiki/Tensor_Processing_Unit

È proprio Nvidia che sta per perdere un cliente

Mi sembra fattibile.

Alla fine i chip Nvidia ,di base sono processori grafici.

Creare un chip unicamente per l'AI ,farebbe crollare i prezzi unicamente per quella tecnologia.


Ho il dubbio che fra 10 anni ogni cosa avrà un chip AI. Ci metteremo a parlare coi mobili ed elettrodomestici di casa.

Quelli di Nvidia sono i più prestanti che ci sono, il fatto di farsi un proprio chip non è per avere maggiori prestazioni ma perchè più conveniente sul piano economico.


AMD sarebbe un alternativa ?
Da quando ?

I chip "per AI" di Nvidia sono giá ottimizzati per tali tipi di calcoli, probabilmente l'ultima ottimizzazione che gli manca è il supporto per il formato "1,58bit/logica ternaria", ma anche gli altri chip "AI" sono tutti più o meno li, quello che li differenzia di più sono le architetture di interconnessione tra core/cache/HBM ed altri chip (ecco come mai OpenAI si è appoggiata a Broadcom) ed il supporto a livello di software.




La cosa è fattibile già ora, ma sai che palle parlare con gli elettrodomestici per cose che puoi fare più velocemente premendo un bottone?

Intendevo che costa di meno a fare un chip puro solo per AI, senza che serve la parte grafica.



Per gli elettrodomestici è per averci una conversazione insieme e vedere il frigo che litiga col forno, mentre il microonde cerca di sedare la situazione.

Eh certo, AMD non può perdere quello che non ha mai avuto.
Che modo strano di godere che hai. Sembra quello di uno con gravi problemi.


I chip per AI, cioè le versioni 100 o 200 delle GPU, non hanno la parte grafica integrata.
O meglio, ce l'hanno ma in una porzione infinitesimale della quantità di unità di calcolo presenti. Serve solo per rendere le schede compatibili con le librerie grafiche, ma non certo per sfruttarle come acceleratori grafici.
Il chip puro per fare AI non è tanto diverso da quello che offre Nvidia con i suoi. Infatti ad oggi non c'è alcun "chip puro per AI " più potente di quelli "non-puri" di Nvidia.
Le basi per un chip "puro per AI" sono già compresi nell'architettura Nvidia che di suo offre unità di calcolo, memory controller e path di interconnessione interni altamente ottimizzati, che non è cosa semplice da ottenere. Infatti sono GPU mastodontiche che permettono di ottenere enormi quantità di calcolo all'interno di un un package ultra compatto che fa risparmiare parecchia energia. Più roba metti nello stesso package, più complesso diventa il progetto, più costa ma meno consuma rispetto a distribuire roba in giro per la scheda o su più schede o addirittura su più rack separati.
Se non riesci a produrre chip così grandi e compatti (e per ora nessuno ci è riuscito) non riesci a ottenere l'efficienza energetica che ha Nvidia e visto la quantità spropositata di energia necessaria per far andare un data center AI, il risparmio da questo punto di vista conta parecchio, più del prezzo del chip stesso.
Aggiunta a questa cosa c'è la capacità di scale-out dei chip Nvidia, che vuol dire la loro capacità di funzionare efficacemente anche in package separati e distribuiti in sistemi separati. Ad oggi nessuno, ma proprio nessuno, è in grado di eguagliare Nvidia da questo punto di vista con le sue soluzioni di comunicazione altamente specializzate. Molti avevano detto che l'acquisto di Mellanox era una sciocchezza che non avrebbe portato nulla dei soldi spesi per acquistarla. Qualche anno dopo abbiamo come risultato i più veloci switch di connessione mai realizzati per connettere un numero spropositato di schede. Velocità e integrazione che diventeranno imprendibili con l'arrivo dell'uso della fibra ottica con Rubin.
Chi inneggia alle capacità AMD dovrebbe sapere che tutte le GPU realizzate fino ad oggi scalano solo su sistemi concentrati fino a 8 schede,. Oltre le prestazioni diventano simili a quelle di un Commodore 64 e quindi non sono indicate per fare un bel nulla a livello di data center.
Le prossime GPU insieme ai prossimi chip di networking di AMD (realizzati tramite acquisto di una azienda esterna nel 2022 perché hanno capito che l'integrazione efficace di più sistemi è fondamentale per andare oltre ai benchmark realizzati sulla carta per far godere i suoi fanboy e basta) sono indirizzate a colmare questo gap. Ma stiamo parlando sempre di domani, le aziende che operano nell'AI vogliono le cose funzionati al meglio ieri.

Alla fine quindi, se vuoi realizzare un chip con potenza computazionale simile a quello di Nvidia devi realizzare un chip con la stessa complessità. Il che significa saper mettere insieme un centinaio di miliardi di transistor e sapere come rendere il tutto efficiente, e non una piastrella che consuma energia per riscaldare la stanza. Il che ha un costo in termini di R&D veramente notevole e alla fine un costo di produzione che non è tanto diverso da quello per cui Nvidia ti vende le sue GPU. Nel frattempo hai perso il supporto alla costruzione del data center da parte di NVidia e dei fornitori del suo HW che ti offrono tutto quanto è necessario dalla A alla Z e le apparecchiature per uno scale-out ottimale e il supporto a CUDA, quindi ti tocca scrivere le librerie e i programmi di supporto da zero e sperare che tutto questo porti ad un consumo energetico inferiore (molto improbabile) per risparmiare.

Il fatto che sia ad uso interno non è un caso. Probabilmente il progetto è semplicemente una architettura di Broadcomm (che fa chip AI da mettere nelle lavatrici o poco più leggermente modificata e ne avranno ordinati un qualche migliaio giusto per vedere come funzionano IN INFERENZA rispetto alle GPU Nvidia e far credere agli investitori che sono in procinto di eliminare la più grande voce di spesa dell'azienda, che è l'affitto delle GPU Nvidia dei data center altrui, si veda l'ultimo accordo con Oracle che forse ha un po' spaventato tutti.
Investitori che per ora ci hanno messo un sacco di quattrini e non solo non hanno visto un solo dollaro tornare, ma non hanno neppure la più pallida idea di quando questo avverrà e OpenAI deve tenerseli buoni per evitare un finale epocale.