Non solo GPU: OpenAI scommette oltre 10 miliardi di dollari su Cerebras

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/mercat...as_148633.html

OpenAI ha siglato un accordo pluriennale con Cerebras per integrare sistemi AI a bassa latenza nel proprio stack di inferenza. L'intesa, dal valore stimato superiore ai 10 miliardi di dollari, mira ad accelerare le risposte dei modelli e a scalare l'AI in tempo reale.

Click sul link per visualizzare la notizia.

[coschizza]

altro che gpu nvidia questo come specifiche da sempre li asfalta tutti se solo avesse lo stesso supporto software

[UtenteHD]

Beh da sempre CPU o altro specifici rendono meglio, Nvidia per ora ha visto lontano coi tensore cores ed in effetti da quello che si lege su github, ci sono molte AI offline che teoricamente anche con una 3050 fanno miracoli, quindi ha visto bene col senno di poi, poi in futuro avremo un ibrido CPU dedicata o mix con supporto GPU e poi in futuro, futuro.. si vedra'

[LMCH]

Giusto per chiarire, Cerebras ha come unico prodotto i Wafer Scale Engine.
In pratica fotolitografano su un unico wafer un intero sistema di calcolo con core, banchi di SRAM, moduli di routing ed interconnessione tra i blocchi e con l'esterno, ecc. ecc.

Tale approccio permette di raggiungere prestazioni superiori ai multi-chip package, ma ha costi elevati sotto tutti gli aspetti ed anche se il sistema di routing permette di aggirare ed escludere "blocchi" fallati, c'é il problema che serve un wafer intero per ogni singolo WSE prodotto quindi la resa produttiva é comunque piú bassa rispetto a chip "normali".

[Unrue]

Originariamente inviato da LMCH

Giusto per chiarire, Cerebras ha come unico prodotto i Wafer Scale Engine.
In pratica fotolitografano su un unico wafer un intero sistema di calcolo con core, banchi di SRAM, moduli di routing ed interconnessione tra i blocchi e con l'esterno, ecc. ecc.

Tale approccio permette di raggiungere prestazioni superiori ai multi-chip package, ma ha costi elevati sotto tutti gli aspetti ed anche se il sistema di routing permette di aggirare ed escludere "blocchi" fallati, c'é il problema che serve un wafer intero per ogni singolo WSE prodotto quindi la resa produttiva é comunque piú bassa rispetto a chip "normali".

L'approccio è interessante, ma se vuoi aggiornare un singolo componente non puoi, devi buttare via tutto.

[coschizza]

Originariamente inviato da Unrue

L'approccio è interessante, ma se vuoi aggiornare un singolo componente non puoi, devi buttare via tutto.

stessa cosa con le gpu nvidia se vuoi cambiare qualcosa devi cambiare tutto è tutto integrato anche li nel soc

[supertigrotto]

Con quali soldi?
Nessuno dice che open IA è indebitata fino al midollo?

[Unrue]

Originariamente inviato da coschizza

stessa cosa con le gpu nvidia se vuoi cambiare qualcosa devi cambiare tutto è tutto integrato anche li nel soc

Insomma, la GPU è una scheda, se la togli tecnicamente ancora funziona tutto. Qua no.

[coschizza]

Originariamente inviato da Unrue

Insomma, la GPU è una scheda, se la togli tecnicamente ancora funziona tutto. Qua no.

non parliamo di sistemi con scede gpu ma di rack che non usano schede, non si usao schede gpu nei datacenter

anche il sistema Cerebras è espandibile e configurabiel trov itutto sul sito puoi cabiare quello che vuoi attorno all'acceleratore base

[Unrue]

Originariamente inviato da coschizza

non parliamo di sistemi con scede gpu ma di rack che non usano schede, non si usao schede gpu nei datacenter

Si beh lo so bene, ci lavoro con quei sistemi, volevo stare sul semplice

[LMCH]

Originariamente inviato da coschizza

stessa cosa con le gpu nvidia se vuoi cambiare qualcosa devi cambiare tutto è tutto integrato anche li nel soc

Con i Wafer Scale Engine al momento si hanno maggiori prestazioni per quello per cui é progettato lo specifico "sistema su wafer" ma i costi di produzione dei wafer "utilizzabili" sono piú alti come pure i costi di esercizio, altrimenti tutti i big starebbero implorando Cerebras di vendergli i WSE.

Che io sappia attualmente i WSE vengono usati principalmente per l'inferenza ma non per il training; visto che il training di nuovi modelli non da piú miglioramenti che giustificano gli investimenti, tutti stanno cercando di superare i concorrenti migliorando il lato inferenza sia a livello di software che di hardware.