OpenAI, il chip proprietario per l'AI è sempre più vicino (e le serve per smarcarsi da NVIDIA)

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/cpu/op...ia_143069.html

OpenAI prepara il debutto del suo primo chip AI proprietario, sviluppato con Broadcom, previsto per il 2026 e destinato all'uso interno. L'obiettivo è ridurre la dipendenza da NVIDIA, ottimizzare i modelli e migliorare l'efficienza dei servizi, seguendo una strategia già adottata da altre big tech.

Click sul link per visualizzare la notizia.

[Fantapollo]

Pazzesco preferiscono farsi i chip in casa piuttosto che affidarsi a un'alternativa un po' piu' umile tipo AMD.

Progetto sicuramente fallimentare, è troppo complesso fare quello che fa Nvidia.

[LMCH]

È solo un chip per uso limitato interno, in pratica serve solo a creare hype attorno ad OpenAI, specialmente quando si considera che il grosso dei finanziamenti ricevuti da OpenAI sono crediti per utilizzare le risorse computazionali di Azure e Google Cloud.
Ormai il giochino di Sam "one trick pony" Altman è sin troppo ovvio.

[Fantapollo]

Originariamente inviato da LMCH

È solo un chip per uso limitato interno

Appunto. Almeno lo vendessero...
Costi troppo alti per una cosa del genere

[s12a]

Originariamente inviato da Fantapollo

Pazzesco preferiscono farsi i chip in casa piuttosto che affidarsi a un'alternativa un po' piu' umile tipo AMD.

Progetto sicuramente fallimentare, è troppo complesso fare quello che fa Nvidia.

Google è da un bel po' che usa le sue TPU invece che acceleratori NVidia.
https://en.wikipedia.org/wiki/Tensor_Processing_Unit

[Max Power]

Originariamente inviato da Fantapollo

Pazzesco preferiscono farsi i chip in casa piuttosto che affidarsi a un'alternativa un po' piu' umile tipo AMD.

Progetto sicuramente fallimentare, è troppo complesso fare quello che fa Nvidia.

È proprio Nvidia che sta per perdere un cliente

[Apple80]

Mi sembra fattibile.

Alla fine i chip Nvidia ,di base sono processori grafici.

Creare un chip unicamente per l'AI ,farebbe crollare i prezzi unicamente per quella tecnologia.


Ho il dubbio che fra 10 anni ogni cosa avrà un chip AI. Ci metteremo a parlare coi mobili ed elettrodomestici di casa.

[Ripper89]

Originariamente inviato da Apple80

Mi sembra fattibile.

Alla fine i chip Nvidia ,di base sono processori grafici.

Quelli di Nvidia sono i più prestanti che ci sono, il fatto di farsi un proprio chip non è per avere maggiori prestazioni ma perchè più conveniente sul piano economico.

Originariamente inviato da Fantapollo

Pazzesco preferiscono farsi i chip in casa piuttosto che affidarsi a un'alternativa un po' piu' umile tipo AMD.

AMD sarebbe un alternativa ?
Da quando ?

[LMCH]

Originariamente inviato da Apple80

Mi sembra fattibile.

Alla fine i chip Nvidia ,di base sono processori grafici.

Creare un chip unicamente per l'AI ,farebbe crollare i prezzi unicamente per quella tecnologia.

I chip "per AI" di Nvidia sono giá ottimizzati per tali tipi di calcoli, probabilmente l'ultima ottimizzazione che gli manca è il supporto per il formato "1,58bit/logica ternaria", ma anche gli altri chip "AI" sono tutti più o meno li, quello che li differenzia di più sono le architetture di interconnessione tra core/cache/HBM ed altri chip (ecco come mai OpenAI si è appoggiata a Broadcom) ed il supporto a livello di software.

Originariamente inviato da Apple80

Ho il dubbio che fra 10 anni ogni cosa avrà un chip AI. Ci metteremo a parlare coi mobili ed elettrodomestici di casa.

La cosa è fattibile già ora, ma sai che palle parlare con gli elettrodomestici per cose che puoi fare più velocemente premendo un bottone?

[Apple80]

Originariamente inviato da LMCH

I chip "per AI" di Nvidia sono giá ottimizzati per tali tipi di calcoli, probabilmente l'ultima ottimizzazione che gli manca è il supporto per il formato "1,58bit/logica ternaria", ma anche gli altri chip "AI" sono tutti più o

Intendevo che costa di meno a fare un chip puro solo per AI, senza che serve la parte grafica.



Per gli elettrodomestici è per averci una conversazione insieme e vedere il frigo che litiga col forno, mentre il microonde cerca di sedare la situazione.

[CrapaDiLegno]

Originariamente inviato da Max Power

È proprio Nvidia che sta per perdere un cliente

Eh certo, AMD non può perdere quello che non ha mai avuto.
Che modo strano di godere che hai. Sembra quello di uno con gravi problemi.

Originariamente inviato da Apple80

Intendevo che costa di meno a fare un chip puro solo per AI, senza che serve la parte grafica.

I chip per AI, cioè le versioni 100 o 200 delle GPU, non hanno la parte grafica integrata.
O meglio, ce l'hanno ma in una porzione infinitesimale della quantità di unità di calcolo presenti. Serve solo per rendere le schede compatibili con le librerie grafiche, ma non certo per sfruttarle come acceleratori grafici.
Il chip puro per fare AI non è tanto diverso da quello che offre Nvidia con i suoi. Infatti ad oggi non c'è alcun "chip puro per AI " più potente di quelli "non-puri" di Nvidia.
Le basi per un chip "puro per AI" sono già compresi nell'architettura Nvidia che di suo offre unità di calcolo, memory controller e path di interconnessione interni altamente ottimizzati, che non è cosa semplice da ottenere. Infatti sono GPU mastodontiche che permettono di ottenere enormi quantità di calcolo all'interno di un un package ultra compatto che fa risparmiare parecchia energia. Più roba metti nello stesso package, più complesso diventa il progetto, più costa ma meno consuma rispetto a distribuire roba in giro per la scheda o su più schede o addirittura su più rack separati.
Se non riesci a produrre chip così grandi e compatti (e per ora nessuno ci è riuscito) non riesci a ottenere l'efficienza energetica che ha Nvidia e visto la quantità spropositata di energia necessaria per far andare un data center AI, il risparmio da questo punto di vista conta parecchio, più del prezzo del chip stesso.
Aggiunta a questa cosa c'è la capacità di scale-out dei chip Nvidia, che vuol dire la loro capacità di funzionare efficacemente anche in package separati e distribuiti in sistemi separati. Ad oggi nessuno, ma proprio nessuno, è in grado di eguagliare Nvidia da questo punto di vista con le sue soluzioni di comunicazione altamente specializzate. Molti avevano detto che l'acquisto di Mellanox era una sciocchezza che non avrebbe portato nulla dei soldi spesi per acquistarla. Qualche anno dopo abbiamo come risultato i più veloci switch di connessione mai realizzati per connettere un numero spropositato di schede. Velocità e integrazione che diventeranno imprendibili con l'arrivo dell'uso della fibra ottica con Rubin.
Chi inneggia alle capacità AMD dovrebbe sapere che tutte le GPU realizzate fino ad oggi scalano solo su sistemi concentrati fino a 8 schede,. Oltre le prestazioni diventano simili a quelle di un Commodore 64 e quindi non sono indicate per fare un bel nulla a livello di data center.
Le prossime GPU insieme ai prossimi chip di networking di AMD (realizzati tramite acquisto di una azienda esterna nel 2022 perché hanno capito che l'integrazione efficace di più sistemi è fondamentale per andare oltre ai benchmark realizzati sulla carta per far godere i suoi fanboy e basta) sono indirizzate a colmare questo gap. Ma stiamo parlando sempre di domani, le aziende che operano nell'AI vogliono le cose funzionati al meglio ieri.

Alla fine quindi, se vuoi realizzare un chip con potenza computazionale simile a quello di Nvidia devi realizzare un chip con la stessa complessità. Il che significa saper mettere insieme un centinaio di miliardi di transistor e sapere come rendere il tutto efficiente, e non una piastrella che consuma energia per riscaldare la stanza. Il che ha un costo in termini di R&D veramente notevole e alla fine un costo di produzione che non è tanto diverso da quello per cui Nvidia ti vende le sue GPU. Nel frattempo hai perso il supporto alla costruzione del data center da parte di NVidia e dei fornitori del suo HW che ti offrono tutto quanto è necessario dalla A alla Z e le apparecchiature per uno scale-out ottimale e il supporto a CUDA, quindi ti tocca scrivere le librerie e i programmi di supporto da zero e sperare che tutto questo porti ad un consumo energetico inferiore (molto improbabile) per risparmiare.

Il fatto che sia ad uso interno non è un caso. Probabilmente il progetto è semplicemente una architettura di Broadcomm (che fa chip AI da mettere nelle lavatrici o poco più) leggermente modificata e ne avranno ordinati un qualche migliaio giusto per vedere come funzionano IN INFERENZA rispetto alle GPU Nvidia e far credere agli investitori che sono in procinto di eliminare la più grande voce di spesa dell'azienda, che è l'affitto delle GPU Nvidia dei data center altrui, si veda l'ultimo accordo con Oracle che forse ha un po' spaventato tutti.
Investitori che per ora ci hanno messo un sacco di quattrini e non solo non hanno visto un solo dollaro tornare, ma non hanno neppure la più pallida idea di quando questo avverrà e OpenAI deve tenerseli buoni per evitare un finale epocale.

[Apple80]

Originariamente inviato da CrapaDiLegno

Se non riesci a produrre chip così grandi e compatti (e per ora nessuno ci è riuscito) non riesci a ottenere l'efficienza energetica che ha Nvidia e visto la quantità spropositata di energia necessaria per far andare un data center AI, il risparmio da questo punto di vista conta parecchio, più del prezzo del chip stesso.
Aggiunta a questa cosa c'è la capacità di scale-out dei chip Nvidia, che vuol dire la loro capacità di funzionare efficacemente anche in package separati e distribuiti in sistemi separati. Ad oggi nessuno, ma proprio nessuno, è in grado di eguagliare Nvidia da questo punto di vista con le sue soluzioni di comunicazione altamente specializzate. Molti avevano detto che l'acquisto di Mellanox era una sciocchezza che non avrebbe portato nulla dei soldi spesi per acquistarla. Qualche anno dopo abbiamo come risultato i più veloci switch di connessione mai realizzati per connettere un numero spropositato di schede. Velocità e integrazione che diventeranno imprendibili con l'arrivo dell'uso della fibra ottica con Rubin.
Chi inneggia alle capacità AMD dovrebbe sapere che tutte le GPU realizzate fino ad oggi scalano solo su sistemi concentrati fino a 8 schede,. Oltre le prestazioni diventano simili a quelle di un Commodore 64 e quindi non sono indicate per fare un bel nulla a livello di data center.
Le prossime GPU insieme ai prossimi chip di networking di AMD (realizzati tramite acquisto di una azienda esterna nel 2022 perché hanno capito che l'integrazione efficace di più sistemi è fondamentale per andare oltre ai benchmark realizzati sulla carta per far godere i suoi fanboy e basta) sono indirizzate a colmare questo gap. Ma stiamo parlando sempre di domani, le aziende che operano nell'AI vogliono le cose funzionati al meglio ieri.

Alla fine quindi, se vuoi realizzare un chip con potenza computazionale simile a quello di Nvidia devi realizzare un chip con la stessa complessità. Il che significa saper mettere insieme un centinaio di miliardi di transistor e sapere come rendere il tutto efficiente, e non una piastrella che consuma energia per riscaldare la stanza. Il che ha un costo in termini di R&D veramente notevole e alla fine un costo di produzione che non è tanto diverso da quello per cui Nvidia ti vende le sue GPU. Nel frattempo hai perso il supporto alla costruzione del data center da parte di NVidia e dei fornitori del suo HW che ti offrono tutto quanto è necessario dalla A alla Z e le apparecchiature per uno scale-out ottimale e il supporto a CUDA, quindi ti tocca scrivere le librerie e i programmi di supporto da zero e sperare che tutto questo porti ad un consumo energetico inferiore (molto improbabile) per risparmiare.

Il fatto che sia ad uso interno non è un caso. Probabilmente il progetto è semplicemente una architettura di Broadcomm (che fa chip AI da mettere nelle lavatrici o poco più) leggermente modificata e ne avranno ordinati un qualche migliaio giusto per vedere come funzionano IN INFERENZA rispetto alle GPU Nvidia e far credere agli investitori che sono in procinto di eliminare la più grande voce di spesa dell'azienda, che è l'affitto delle GPU Nvidia dei data center altrui, si veda l'ultimo accordo con Oracle che forse ha un po' spaventato tutti.
Investitori che per ora ci hanno messo un sacco di quattrini e non solo non hanno visto un solo dollaro tornare, ma non hanno neppure la più pallida idea di quando questo avverrà e OpenAI deve tenerseli buoni per evitare un finale epocale.

Grazie per la spiegazione dettagliata. Sembra che sia ancora una tecnologia acerba. Forse dato dal fatto che non è ancora cosi diffusa su larga scala.