ChatGPT: ecco quanto costa al giorno ad OpenAI

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ch...ai_116178.html

Una stima, basata su GPT-3, rivela quale può essere il costo giornaliero per il mantenimento e l'operatività alla base dell'AI conversazionale

Click sul link per visualizzare la notizia.

[Vul]

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.

[Opteranium]

Originariamente inviato da Vul

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.

quoto, è inverosimile una tale spesa.
Magari sono 700 mila al giorno oppure 700 milioni all'anno..

[david-1]

Ho letto un altro articolo qualche ora fa e parlavano di 700.000 al gg
Che errore vergognoso di tanto sciocco

[Vul]

Originariamente inviato da david-1

Ho letto un altro articolo qualche ora fa e parlavano di 700.000 al gg
Che errore vergognoso di tanto sciocco

Vabbe' puo' capitare.

Probabilmente la traduzione l'ha fatta l'ai e non e' stata ben verificata

[pengfei]

Sì per la precisione secondo il loro modello sono 694444$ al giorno, con un costo per query di 0.36 centesimi.
Calcolano anche che se Google dovesse gestire lo stesso numero di ricerche di ora con un LLM servirebbero 100 miliardi di dollari solo di hardware

[Vul]

Originariamente inviato da pengfei

Sì per la precisione secondo il loro modello sono 694444$ al giorno, con un costo per query di 0.36 centesimi.
Calcolano anche che se Google dovesse gestire lo stesso numero di ricerche di ora con un LLM servirebbero 100 miliardi di dollari solo di hardware

Anche questo numero mi sembra esagerato.

Tanto per dire, con 100 miliardi compri tutte le gpu prodotte di gpu di amd e nvidia di quattro/cinque anni di produzione che include tutte le gpu discrete prodotte da nvidia/amd da gamers, a supercomputers a data centers...

[pengfei]

Originariamente inviato da Vul

Anche questo numero mi sembra esagerato.

Tanto per dire, con 100 miliardi compri tutte le gpu prodotte di gpu di amd e nvidia di quattro/cinque anni di produzione che include tutte le gpu discrete prodotte da nvidia/amd da gamers, a supercomputers a data centers...

Deploying current ChatGPT into every search done by Google would require 512,820.51 A100 HGX servers with a total of 4,102,568 A100 GPUs. The total cost of these servers and networking exceeds $100 billion of Capex alone, of which Nvidia would receive a large portion. This is never going to happen, of course, but fun thought experiment if we assume no software or hardware improvements are made.

Secondo una notizia di Engadget del 2020 un server con 8 A100, due CPU AMD da server, 1TB di ram ecc costava 200 mila dollari, fanno 25 mila a GPU, per quattro milioni di GPU sono 100 miliardi tondi, la cavetteria di rete la daranno in omaggio
Però è una notizia del 2020, magari ora a trovare 500 mila server di seconda mano si risparmia

[Unrue]

Anche a me sembra un numero esagerato, sono solo tre ordini di differenza rispetto all'articolo originale, ma dettagli Anche se c'è da dire che Chat GPT è stata addestrata con ben 30.000 GPU, quindi proprio economica non è.

[Vul]

Originariamente inviato da pengfei

Secondo una notizia di Engadget del 2020 un server con 8 A100, due CPU AMD da server, 1TB di ram ecc costava 200 mila dollari, fanno 25 mila a GPU, per quattro milioni di GPU sono 100 miliardi tondi, la cavetteria di rete la daranno in omaggio
Però è una notizia del 2020, magari ora a trovare 500 mila server di seconda mano si risparmia

Si ma e' un calcolo fatto molto male e che parte da un presupposto piuttosto ambiguo: integrare chatgpt in ogni singola ricerca di google.

Va da solo che:

- le risposte possono essere messe in cache, non serve rifare ogni volta la stessa computazione a meno che non ce ne sia un grandissimo motivo. Esempio, la parola gmail e' ricercata 67 volte di piu di quella "taylor swift" (termine di ricerca comunque comunissimo), ma non serve a nulla passare queste chiavi di ricerca ad un chatbot (ne taylor swift ne gmail). E' ovvio che se un utente cerca quelle due chiavi Google non riscannerizza tutto il suo database di miliardi di pagine, lo fa solo ogni tanto.

- le risposte piu interessanti sono quelle che portano alla combinazione di risultati nuovi. esempio: "quanto guanciale mi serve per 3 persone per la carbonara se voglio fare 100 grammi di pasta a testa".

Ergo, rivediamo i numeri:
-il 95% e piu di ricerche non necessita di chatgpt
- questo porta chatgpt ad essere necessario solo nel 5% delle risposte
- di questo 5% tante possono essere cacheate (quindi non vengono ricomputate). Ad esempio se chiedessi a chatgpt la domanda di prima del guanciale, non serve rigenerarla da capo ogni volta che si passa la stessa query, magari per le 20 risposte successive si usa la prima e poi si ricomputa

In tutto questo:
- i modelli possono essere enormememente migliorati dal passato
- A100 e' una gpu del 2020, siamo a meta' 2023, come minimo il successore offrira un price/performance almeno 50/100% superiore (almeno).

Ergo, in verita', per mettere chatgpt nelle ricerche davvero rilevanti ad un chatbot potrebbe servire una piccola parte di una stima simile.

Va anche notato che nonostante il grande clamore di chatgpt, Google stessa e' un azienda estremamente all'avanguardia in tema di ai e che ha un portafoglio talmente grande che puo' permettersi di autoprodursi hardware custom per le proprie necessita' su licenza.

[pengfei]

Originariamente inviato da Vul

Si ma e' un calcolo fatto molto male e che parte da un presupposto piuttosto ambiguo: integrare chatgpt in ogni singola ricerca di google.

Va da solo che:

- le risposte possono essere messe in cache, non serve rifare ogni volta la stessa computazione a meno che non ce ne sia un grandissimo motivo. Esempio, la parola gmail e' ricercata 67 volte di piu di quella "taylor swift" (termine di ricerca comunque comunissimo), ma non serve a nulla passare queste chiavi di ricerca ad un chatbot (ne taylor swift ne gmail). E' ovvio che se un utente cerca quelle due chiavi Google non riscannerizza tutto il suo database di miliardi di pagine, lo fa solo ogni tanto.

- le risposte piu interessanti sono quelle che portano alla combinazione di risultati nuovi. esempio: "quanto guanciale mi serve per 3 persone per la carbonara se voglio fare 100 grammi di pasta a testa".

Ergo, rivediamo i numeri:
-il 95% e piu di ricerche non necessita di chatgpt
- questo porta chatgpt ad essere necessario solo nel 5% delle risposte
- di questo 5% tante possono essere cacheate (quindi non vengono ricomputate). Ad esempio se chiedessi a chatgpt la domanda di prima del guanciale, non serve rigenerarla da capo ogni volta che si passa la stessa query, magari per le 20 risposte successive si usa la prima e poi si ricomputa

In tutto questo:
- i modelli possono essere enormememente migliorati dal passato
- A100 e' una gpu del 2020, siamo a meta' 2023, come minimo il successore offrira un price/performance almeno 50/100% superiore (almeno).

Ergo, in verita', per mettere chatgpt nelle ricerche davvero rilevanti ad un chatbot potrebbe servire una piccola parte di una stima simile.

Va anche notato che nonostante il grande clamore di chatgpt, Google stessa e' un azienda estremamente all'avanguardia in tema di ai e che ha un portafoglio talmente grande che puo' permettersi di autoprodursi hardware custom per le proprie necessita' su licenza.

Sì anche secondo me è una stima estremamente approssimativa

[GaryMitchell]

Meno di un milione al giorno che comunque per mantenere un'infrastruttura è un costo enorme, ma mai quanto la sparata del titolo...

[supertigrotto]

Torno a ribadire quello che aveva dichiarato IBM,non serve dare soldi a Nvidia, AMD ed ora anche a Intel per IA,inferenza,Deep learning e affini,basta usare vecchie CPU a 8 e 16 bit (i 32 sono già troppi e inutili) opportunamente modificate per avere gli stessi risultati,se non migliori,con 1/5 e oltre di consumo energetico.
Microsoft sta percorrendo la strada giusta,anche Google con i suoi tensor core sta facendo la stessa cosa.
Solo perché Giacchetto ha prodotto le straordinarie serie 4000 e le sue controparti da server,questo non vuol dire che siano efficenti,efficaci si ma non efficienti.
Se si è obbiettivi e non fanboy di verdi,rossi e azzurri,sta cosa si capisce.
Io non andrei a spendere 3000 euro per un tassellatore Hilti per fare buchi nella terra per piantare le piantine nell'orto.

[supertigrotto]

E se mi dite che IBM non ha esperienza in questo campo,allora vi dico che IBM Watson è un tipico pasticcio di carne della Louisiana che IBM ha creato nei suoi laboratori.

[mrk-cj94]

Originariamente inviato da Vul

Vabbe' puo' capitare.

Probabilmente la traduzione non l'ha fatta l'ai

[pachainti]

Quanto spreco di risorse per avere un generatore artificiale di stronzate.

[alien321]

OpenAI deve sostenere una spesa di circa 700 milioni di dollari al giorno per poter mantenere operativa l'infrastruttura di ChatGPT.

Posso capire un errore, in ogni caso è grave confondere 700 000 dollari con 700 milioni, ma non correggere questo errore dopo che vi è stato segnalato è veramente segno di ZERO professionalità.

[niky89]

Originariamente inviato da alien321

Posso capire un errore, in ogni caso è grave confondere 700 000 dollari con 700 milioni, ma non correggere questo errore dopo che vi è stato segnalato è veramente segno di ZERO professionalità.

Poverini fanno gli articoli di fretta dopo giornate difficili (questo mi è stato detto una volta) oggi è vacanza, dai
A loro interessa fare uscire la notizia il prima possibile, rileggere è da dilettanti.

[david-1]

Tra l’altro non hanno ancora aggiornato l’articolo

[masterchapter]

Originariamente inviato da Vul

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.

Sono d'accordo con te, assolutamente inverosimile. Ciò dimostra come chi scrive tali articoli è un analfabeta funzionale.