Link alla notizia: https://www.hwupgrade.it/news/web/chatgpt-ecco-quanto-costa-al-giorno-ad-openai_116178.html

Una stima, basata su GPT-3, rivela quale può essere il costo giornaliero per il mantenimento e l'operatività alla base dell'AI conversazionale

Click sul link per visualizzare la notizia.

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.
quoto, è inverosimile una tale spesa.
Magari sono 700 mila al giorno oppure 700 milioni all'anno..

Ho letto un altro articolo qualche ora fa e parlavano di 700.000 al gg
Che errore vergognoso di tanto sciocco

Ho letto un altro articolo qualche ora fa e parlavano di 700.000 al gg
Che errore vergognoso di tanto sciocco

Vabbe' puo' capitare.

Probabilmente la traduzione l'ha fatta l'ai e non e' stata ben verificata :D

Sì per la precisione secondo il loro modello sono 694444$ al giorno, con un costo per query di 0.36 centesimi.
Calcolano anche che se Google dovesse gestire lo stesso numero di ricerche di ora con un LLM servirebbero 100 miliardi di dollari solo di hardware

Sì per la precisione secondo il loro modello sono 694444$ al giorno, con un costo per query di 0.36 centesimi.
Calcolano anche che se Google dovesse gestire lo stesso numero di ricerche di ora con un LLM servirebbero 100 miliardi di dollari solo di hardware

Anche questo numero mi sembra esagerato.

Tanto per dire, con 100 miliardi compri tutte le gpu prodotte di gpu di amd e nvidia di quattro/cinque anni di produzione che include tutte le gpu discrete prodotte da nvidia/amd da gamers, a supercomputers a data centers...

Anche questo numero mi sembra esagerato.

Tanto per dire, con 100 miliardi compri tutte le gpu prodotte di gpu di amd e nvidia di quattro/cinque anni di produzione che include tutte le gpu discrete prodotte da nvidia/amd da gamers, a supercomputers a data centers...


Deploying current ChatGPT into every search done by Google would require 512,820.51 A100 HGX servers with a total of 4,102,568 A100 GPUs. The total cost of these servers and networking exceeds $100 billion of Capex alone, of which Nvidia would receive a large portion. This is never going to happen, of course, but fun thought experiment if we assume no software or hardware improvements are made.


Secondo una notizia di Engadget del 2020 un server con 8 A100, due CPU AMD da server, 1TB di ram ecc costava 200 mila dollari, fanno 25 mila a GPU, per quattro milioni di GPU sono 100 miliardi tondi, la cavetteria di rete la daranno in omaggio :D
Però è una notizia del 2020, magari ora a trovare 500 mila server di seconda mano si risparmia :stordita:

Anche a me sembra un numero esagerato, sono solo tre ordini di differenza rispetto all'articolo originale, ma dettagli :D Anche se c'è da dire che Chat GPT è stata addestrata con ben 30.000 GPU, quindi proprio economica non è.

Secondo una notizia di Engadget del 2020 un server con 8 A100, due CPU AMD da server, 1TB di ram ecc costava 200 mila dollari, fanno 25 mila a GPU, per quattro milioni di GPU sono 100 miliardi tondi, la cavetteria di rete la daranno in omaggio :D
Però è una notizia del 2020, magari ora a trovare 500 mila server di seconda mano si risparmia :stordita:

Si ma e' un calcolo fatto molto male e che parte da un presupposto piuttosto ambiguo: integrare chatgpt in ogni singola ricerca di google.

Va da solo che:

- le risposte possono essere messe in cache, non serve rifare ogni volta la stessa computazione a meno che non ce ne sia un grandissimo motivo. Esempio, la parola gmail e' ricercata 67 volte di piu di quella "taylor swift" (termine di ricerca comunque comunissimo), ma non serve a nulla passare queste chiavi di ricerca ad un chatbot (ne taylor swift ne gmail). E' ovvio che se un utente cerca quelle due chiavi Google non riscannerizza tutto il suo database di miliardi di pagine, lo fa solo ogni tanto.

- le risposte piu interessanti sono quelle che portano alla combinazione di risultati nuovi. esempio: "quanto guanciale mi serve per 3 persone per la carbonara se voglio fare 100 grammi di pasta a testa".

Ergo, rivediamo i numeri:
-il 95% e piu di ricerche non necessita di chatgpt
- questo porta chatgpt ad essere necessario solo nel 5% delle risposte
- di questo 5% tante possono essere cacheate (quindi non vengono ricomputate). Ad esempio se chiedessi a chatgpt la domanda di prima del guanciale, non serve rigenerarla da capo ogni volta che si passa la stessa query, magari per le 20 risposte successive si usa la prima e poi si ricomputa

In tutto questo:
- i modelli possono essere enormememente migliorati dal passato
- A100 e' una gpu del 2020, siamo a meta' 2023, come minimo il successore offrira un price/performance almeno 50/100% superiore (almeno).

Ergo, in verita', per mettere chatgpt nelle ricerche davvero rilevanti ad un chatbot potrebbe servire una piccola parte di una stima simile.

Va anche notato che nonostante il grande clamore di chatgpt, Google stessa e' un azienda estremamente all'avanguardia in tema di ai e che ha un portafoglio talmente grande che puo' permettersi di autoprodursi hardware custom per le proprie necessita' su licenza.

Si ma e' un calcolo fatto molto male e che parte da un presupposto piuttosto ambiguo: integrare chatgpt in ogni singola ricerca di google.

Va da solo che:

- le risposte possono essere messe in cache, non serve rifare ogni volta la stessa computazione a meno che non ce ne sia un grandissimo motivo. Esempio, la parola gmail e' ricercata 67 volte di piu di quella "taylor swift" (termine di ricerca comunque comunissimo), ma non serve a nulla passare queste chiavi di ricerca ad un chatbot (ne taylor swift ne gmail). E' ovvio che se un utente cerca quelle due chiavi Google non riscannerizza tutto il suo database di miliardi di pagine, lo fa solo ogni tanto.

- le risposte piu interessanti sono quelle che portano alla combinazione di risultati nuovi. esempio: "quanto guanciale mi serve per 3 persone per la carbonara se voglio fare 100 grammi di pasta a testa".

Ergo, rivediamo i numeri:
-il 95% e piu di ricerche non necessita di chatgpt
- questo porta chatgpt ad essere necessario solo nel 5% delle risposte
- di questo 5% tante possono essere cacheate (quindi non vengono ricomputate). Ad esempio se chiedessi a chatgpt la domanda di prima del guanciale, non serve rigenerarla da capo ogni volta che si passa la stessa query, magari per le 20 risposte successive si usa la prima e poi si ricomputa

In tutto questo:
- i modelli possono essere enormememente migliorati dal passato
- A100 e' una gpu del 2020, siamo a meta' 2023, come minimo il successore offrira un price/performance almeno 50/100% superiore (almeno).

Ergo, in verita', per mettere chatgpt nelle ricerche davvero rilevanti ad un chatbot potrebbe servire una piccola parte di una stima simile.

Va anche notato che nonostante il grande clamore di chatgpt, Google stessa e' un azienda estremamente all'avanguardia in tema di ai e che ha un portafoglio talmente grande che puo' permettersi di autoprodursi hardware custom per le proprie necessita' su licenza.

Sì anche secondo me è una stima estremamente approssimativa

Meno di un milione al giorno che comunque per mantenere un'infrastruttura è un costo enorme, ma mai quanto la sparata del titolo...

Torno a ribadire quello che aveva dichiarato IBM,non serve dare soldi a Nvidia, AMD ed ora anche a Intel per IA,inferenza,Deep learning e affini,basta usare vecchie CPU a 8 e 16 bit (i 32 sono già troppi e inutili) opportunamente modificate per avere gli stessi risultati,se non migliori,con 1/5 e oltre di consumo energetico.
Microsoft sta percorrendo la strada giusta,anche Google con i suoi tensor core sta facendo la stessa cosa.
Solo perché Giacchetto ha prodotto le straordinarie serie 4000 e le sue controparti da server,questo non vuol dire che siano efficenti,efficaci si ma non efficienti.
Se si è obbiettivi e non fanboy di verdi,rossi e azzurri,sta cosa si capisce.
Io non andrei a spendere 3000 euro per un tassellatore Hilti per fare buchi nella terra per piantare le piantine nell'orto.

E se mi dite che IBM non ha esperienza in questo campo,allora vi dico che IBM Watson è un tipico pasticcio di carne della Louisiana che IBM ha creato nei suoi laboratori.

Vabbe' puo' capitare.

Probabilmente la traduzione non l'ha fatta l'ai :D

:D

Quanto spreco di risorse per avere un generatore artificiale di stronzate.

OpenAI deve sostenere una spesa di circa 700 milioni di dollari al giorno per poter mantenere operativa l'infrastruttura di ChatGPT.


Posso capire un errore, in ogni caso è grave confondere 700 000 dollari con 700 milioni, ma non correggere questo errore dopo che vi è stato segnalato è veramente segno di ZERO professionalità.

Posso capire un errore, in ogni caso è grave confondere 700 000 dollari con 700 milioni, ma non correggere questo errore dopo che vi è stato segnalato è veramente segno di ZERO professionalità.

Poverini fanno gli articoli di fretta dopo giornate difficili (questo mi è stato detto una volta) oggi è vacanza, dai :asd:
A loro interessa fare uscire la notizia il prima possibile, rileggere è da dilettanti.

Tra l’altro non hanno ancora aggiornato l’articolo

700 milioni di $ al giorno mi sembra decisamente fuori misura.

Forse era 700 mila?

Parliamo di 255 miliardi annui, 15% del PIL italiano, 4 volte piu grande dell'intero fatturato di Amazon Web Service che rappresenta il 20/30% di internet.

Sono d'accordo con te, assolutamente inverosimile. Ciò dimostra come chi scrive tali articoli è un analfabeta funzionale.

Quanto spreco di risorse per avere un generatore artificiale di stronzate.

Beh dipende uno per cosa lo usi, ad esempio per lavoro correggere e migliorare le lettere/frasi/relazioni tecniche e' una favola, come per creare nuove bozze tecniche di lavoro e molto altro, fa praticamente gratis il lavoro di una Segretaria in tempo zero e molto altro, alla fine il limite e' l'immaginazione.
Un po' come uno che compra il PC e lo usa solo per mettere foto e tutti i tuoi dati su FB.. (comprava, ora usano il tablet/cell)

Quanto spreco di risorse per avere un generatore artificiale di stronzate.

Talmente stronzata che è stata valutata 30 miliardi di dollari e Microsoft ce ne ha investiti 10. Ma cosa vuoi che ne sappiano loro :rolleyes: