Link alla notizia: https://www.hwupgrade.it/news/web/allarme-onu-entro-il-2030-l-intelligenza-artificiale-consumera-una-quantita-d-acqua-pari-al-fabbisogno-di-1-3-miliardi-di-persone_154364.html

Secondo un rapporto ONU, entro il 2030 l'Intelligenza Artificiale potrebbe consumare acqua equivalente al fabbisogno di 1,3 miliardi di persone e 945 terawattora di elettricità. Lo studio chiede una governance globale del settore e invita a sviluppare un ecosistema responsabile fondato su trasparenza, sostenibilità ed equità ambientale

Click sul link per visualizzare la notizia.

Quindi a tirar avanti così, tra 100/200 anni si arriverà a questo:

https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgsDl1wZnCDcYO39o5rb6pY1oMhPBEDv-ieEP1LTIdKi0JOOAW1S4_RWTzOfSH9gMvyzxuy4xfi0P3dEYXUqM76XadGcm3bWAjYo-V8KH47hXuJD7v-50u4Iwzh7JsTKFzF94VEoyMbGQ/s1600/Machinecity.jpg%255B1%255D.png

Beh hanno ragione, ma solo se la tecnologia resta quella che è. Se finalmente insieme alle GPU fanno uscire CPU o quel che è dedicato da inserire nel PC come scheda a parte, che richiedono 1/10 e poi 1/100 di potenza, il consumo di acqua crollerà di conseguenza, come per il consumo di corrente.
Se poi non le faranno uscire e si funzioneranno per sempre con GPU sempre più potenti come consumi perchè come ora non fanno altro che aggiungerci i cuda ed i tensor, beh si allora sarà anche peggio di come prevedono.

Beh hanno ragione, ma solo se la tecnologia resta quella che è. Se finalmente insieme alle GPU fanno uscire CPU o quel che è dedicato da inserire nel PC come scheda a parte, che richiedono 1/10 e poi 1/100 di potenza, il consumo di acqua crollerà di conseguenza, come per il consumo di corrente.
Se poi non le faranno uscire e si funzioneranno per sempre con GPU sempre più potenti come consumi perchè come ora non fanno altro che aggiungerci i cuda ed i tensor, beh si allora sarà anche peggio di come prevedono.

hai ragione andrà molto peggio perchè la corsa non si fermerà facilmente e consumeranno e scalderanno sempre di più.. perchè all'aumento di efficienza aumenterà anche la densità con cui verranno installati e allora sarà ben peggio delle previsioni anche perchè se l'ONU teme il riscaldamento globale e poi non fa niente per frenare le IA e la corsa alle risorse del pianeta allora abbiamo ben capito quanto poco gli frega a chi comanda del problema ambiente.. 1.3 miliardi di persone equivalenti acqua per i datacenter delle IA ? :D ciao pianeta in 4 anni.. le guerre in Iran e Ukraina sembreranno delle passeggiate per l'ambiente

Visto il trend attuale, su qualsiasi decisione dell'ONU che riguardasse l'IA verrà posto il veto.
Si faticherebbe persino a raggiungere un testo condiviso da proporre al Consiglio.

cercate di vedere l'aspetto positivo. ci vorrà tanta di quella energia, ma tanta di quella energia che quella che usiamo (e strapaghiamo) ora sarà una pinzillacchera.

cercate di vedere l'aspetto positivo. ci vorrà tanta di quella energia, ma tanta di quella energia che quella che usiamo (e strapaghiamo) ora sarà una pinzillacchera.

scusa.. perchè ?..

io vedo l'opposto.. ci sarà tanta ma tanta di quella scarsità di energia per colpa di quello che consuma anche un solo datacenter che dovremo installare oceani di pannelli FV e batterie per alimentarli facendo salire i costi di gestione della rete e azzerando tutti i buoni propositi (se mai esistiti) degli ultimi anni.

andrà solo che peggio per i non ricchi

Il sentimento della popolazione nei confronti dei datacenter sta' peggiorando in fretta:
https://www.techspot.com/news/112651-ai-data-center-backlash-grows-rapidly-americans-blame.html

Ormai non scorgo alcuna possibilità di uscita da questo cortocircuito ... mi aspetto di vedere (sempre se campo abbastanza) scenari alla Mad Max od Elysium.

Ormai non scorgo alcuna possibilità di uscita da questo cortocircuito ... mi aspetto di vedere (sempre se campo abbastanza) scenari alla Mad Max od Elysium.

temo la seconda.. con una molto netta separazione di ricchi e poveri ad eliminare il fastidioso ceto medio che ha velleità pericolose di elevarsi di stato e disturbare..

meglio persone inutili sotto e ricchi sopra che possono vivere senza le masse grazie a robot e IA.. un sogno per i ricchi poter avere senza vendere.. possedere senza fare..

li su Elysium e qui giù Mad Max..

scusa.. perchè ?..

io vedo l'opposto.. ci sarà tanta ma tanta di quella scarsità di energia per colpa di quello che consuma anche un solo datacenter che dovremo installare oceani di pannelli FV e batterie per alimentarli facendo salire i costi di gestione della rete e azzerando tutti i buoni propositi (se mai esistiti) degli ultimi anni.

andrà solo che peggio per i non ricchi

volevo dire che vista la quantità industriale di energia che andrà via per la IA, quella che usiamo per far andare a palla il condizionatore passerà in secondo piano.
poi... poi va da sè che dove il ricco crapulone magna a 4 palmenti, i povidrazzi qualche osso da sgranocchiare lo rimediano.

per quanto voglio vedere come faranno a produrli, tutti quei petawatt

volevo dire che vista la quantità industriale di energia che andrà via per la IA, quella che usiamo per far andare a palla il condizionatore passerà in secondo piano.
poi... poi va da sè che dove il ricco crapulone magna a 4 palmenti, i povidrazzi qualche osso da sgranocchiare lo rimediano.

per quanto voglio vedere come faranno a produrli, tutti quei petawatt

nucleare.. o carbone.. ai posteri l'ardua sentenza.. perchè un data center non vuole spegnersi di notte e andare a FV+pile ha un costo folle anche con le sovvenzioni..

ma no.. non credo che andrà come dici che bene o male ne avanzerà.. diventerà sempre più importante per scatenare guerre l'accesso ad energia economica più che pulita.. come è già da decenni..

la questione semmai è quanto sarà destabilizzata l'europa con l'invasione di persone a basso QI rispetto alle altre potenze in gioco che stano invece correndo sia per produrre energia che per accaparrarsi materie prime e impianti

noi siamo indietro e rallentiamo perchè distogliamo risorse.. quanti miliardi ha stanziato l'Europa per le IA ? e per lo sviluppo di impianti di produzione di energia ?

Se si fanno le cose col cu*o non è colpa dei datacenter ma di chi le permette.
I datacenter si possono anche costruire senza inquinare falde o laghi e sopratutto riutilizzando la stessa acqua a ciclo chiuso.

Del resto ci raffreddiamo le centrali atomiche con l'acqua.

io vedo l'opposto.. ci sarà tanta ma tanta di quella scarsità di energia per colpa di quello che consuma anche un solo datacenter

Devi vedere il bicchiere mezzo pieno e quello mezzo vuoto, non ce n'è mai uno solo.

L'aumento di domanda non ha mai fatto scendere i prezzi, è scontato che li faccia salire.

L'aumento di domanda però è anche sempre stato un grande volano per l'innovazione, cose su cui aveva poco senso investire di colpo diventano sensate, cose che dovevano accadere in molti anni di colpo accadono in qualche mese. Pensa ai vaccini durante il covid, il mondo ha messo 50 miliardi sul piatto è in 6 mesi hanno fatto accadere quello che normalmente avrebbe richiesto 10 anni.

Sull'energia c'è tanto spazio per innovare, batterie migliori, pannelli migliori, nucleare che diventa socialmente accettabile, fusione... Io ho sempre trovato paradossale che su ITER, un progetto che se funziona fa svoltare l'umanità, siano stati messi solo 20 miliardi divisi tra 34 Paesi... Ma è un progetto scientifico, non commerciale. Sui razzi di Musk per andare su Marte invece il mondo è disposto a metterne 1000.

Devi vedere il bicchiere mezzo pieno e quello mezzo vuoto, non ce n'è mai uno solo.

L'aumento di domanda non ha mai fatto scendere i prezzi, è scontato che li faccia salire.

L'aumento di domanda però è anche sempre stato un grande volano per l'innovazione, cose su cui aveva poco senso investire di colpo diventano sensate, cose che dovevano accadere in molti anni di colpo accadono in qualche mese. Pensa ai vaccini durante il covid, il mondo ha messo 50 miliardi sul piatto è in 6 mesi hanno fatto accadere quello che normalmente avrebbe richiesto 10 anni.

Sull'energia c'è tanto spazio per innovare, batterie migliori, pannelli migliori, nucleare che diventa socialmente accettabile, fusione... Io ho sempre trovato paradossale che su ITER, un progetto che se funziona fa svoltare l'umanità, siano stati messi solo 20 miliardi divisi tra 34 Paesi... Ma è un progetto scientifico, non commerciale. Sui razzi di Musk per andare su Marte invece il mondo è disposto a metterne 1000.

sai.. nel mondo dell'energia ci sono dagli anni '60 con i nonni prima, babbo dopo e io adesso.. no.. nel mondo dell'energia non funziona come dici tu.. si sale lentamente.. si innova, si fa tutto.. ma in tempi molto ma molto lenti.. aumentare del 4% la produzione di energia in un anno è un dato mostruoso.. aumentare i consumi del 4% è un'inezia con i tempi moderni.. basta vedere con la climatizzazione delle abitazioni per cui no..

non basta mettere soldi perchè una rete elettrica possa gestire un 10% di energia in più.. servono 3 anni e tanti soldi

ci sono cretinate come quella di musk per far finta di andare sulla luna e intanto rendere lo spazio e l'orbita terrestre un cassonetto di rifiuti tecnologici ad uso commerciale e poi c'è la terra dove stiamo spremendo sempre di più le risorse per fare di più.. non siamo negli anni '60 dove con poco si faceva molto e si innovava, siamo negli anni '20 del terzo millennio dove dieci aziende fanno la stessa cosa e si fanno la guerra commerciale sprecando risorse la dove alla fine una o due sopravviveranno lasciando cadaveri dietro di loro

tu guarda il bicchiere mezzo pieno mentre io mi preoccupo di quello mezzo vuoto perchè i casini nel mondo dell'energia ormai sono 30 anni che li vedo e non è mai andato meglio ne dopo le balle fotoniche di Bersani ne dopo che il GSE ha promesso energia "gratis" grazie al fotovoltaico salvo poi dire che forse 75 €/MWh è il vero costo del fotovoltaico a cui vanno aggiunti altri 60 €/MWh di oneri e maggiori costi e che alla fine costava di meno prima a tal punto da togliere dai dossier la parte "se economicamente sostenibile" accanto a "transizione energetica" perchè si sono accorti che NON è sostenibile ma chissenefrega..

le IA e i robot dopo saranno solo un nuovo step per creare molto divario e una nuova epoca di poveri

il sogno dell'energia "gratis" è svanito quando quale ebete è andato a votare per la liberalizzazione del settore e relativa privatizzazione.. ma la politica (bizzarro fosse di sx all'epoca) ha convinto milioni di persone che privatizzare, creare utili e dividendi, era meglio del sistema statale di prima

ho assistito a discorsi "buffi" all'epoca su cosa era "meglio" fare e su cosa "era meglio che non facessi" .. per incentivare la liberalizzazione.. mezzo pieno ? :sofico:

nel mondo dell'energia non funziona come dici tu.. si sale lentamente.. si innova, si fa tutto.. ma in tempi molto ma molto lenti.. aumentare del 4% la produzione di energia in un anno è un dato mostruoso.. aumentare i consumi del 4% è un'inezia con i tempi moderni.. basta vedere con la climatizzazione delle abitazioni per cui no..

Ma infatti sta nella premessa che non funziona così, ma non funziona così perchè comunque il mercato segue la convenienza. Tu dici, i tempi per adeguare la rete, che è già un problema diverso rispetto a quello di efficienza di cui parlo io, scommetti che se saltano fuori 1000 miliardi sul piatto le cose si sveltiscono parecchio?

Perché i Data Center non hanno il loro SMR personale? Primo perché gli SMR commerciali veri ancora non ci sono, secondo perché avranno fatto due conti e non conviene. Ma se per magia buttassero 1000 miliardi sugli SMR, scommeti che si sbloccano?

Ti ho fatto l'esempio del Covid, se prima del Covid qualcuno avesse parlato di tempi accelerati sarebbe spuntato il tuo omologo in campo biomedicale e avrebbe detto "fidati, sono in questo campo da tutta la vita, e servono 10 anni"

Non avrebbe mentito, sarebbe stata la verità, ma è una verità contestuale.

So bene che non tutto può essere accelerato con i soldi, se devi costruire un telescopio da 8 metri ti servono due anni perché il vetro dello specchio si raffreddi, aggiungere denaro non serve a nulla, se devi fare un grattacielo c'è un tempo minimo per le fondamenta... Ma un sacco di altre cose possono essere parallelizzate, e queste cose è solo questione di soldi.

Ma infatti sta nella premessa che non funziona così, ma non funziona così perchè comunque il mercato segue la convenienza. Tu dici, i tempi per adeguare la rete, che è già un problema diverso rispetto a quello di efficienza di cui parlo io, scommetti che se saltano fuori 1000 miliardi sul piatto le cose si sveltiscono parecchio?

Perché i Data Center non hanno il loro SMR personale? Primo perché gli SMR commerciali veri ancora non ci sono, secondo perché avranno fatto due conti e non conviene. Ma se per magia buttassero 1000 miliardi sugli SMR, scommeti che si sbloccano?

Ti ho fatto l'esempio del Covid, se prima del Covid qualcuno avesse parlato di tempi accelerati sarebbe spuntato il tuo omologo in campo biomedicale e avrebbe detto "fidati, sono in questo campo da tutta la vita, e servono 10 anni"

Non avrebbe mentito, sarebbe stata la verità, ma è una verità contestuale.

So bene che non tutto può essere accelerato con i soldi, se devi costruire un telescopio da 8 metri ti servono due anni perché il vetro dello specchio si raffreddi, aggiungere denaro non serve a nulla, se devi fare un grattacielo c'è un tempo minimo per le fondamenta... Ma un sacco di altre cose possono essere parallelizzate, e queste cose è solo questione di soldi.

scommetto che non si sveltiscono perchè sarà solo pieno di comitati di rincretiniti che bloccano le cose e avremo solo mille miliardi fermi ..

l'industria farmaceutica estera lavora in modo diverso da noi.. e se serve energia QUI in europa il modo che ha la Cina di fare energia a noi non interessa.. li si si può salire anche oltre il 4% annuo.. usano altri metodi e nessuno dissente.. qua in europa non è questione di soldi ma di teste e quelle non cambiano

so pressochè niente, volevo sapere se a "domande" o "query" ripetute corrisponde un archivio-database da cui pescare la risposta,
oppure ogni volta si fa lavorare tempo macchina per trovarla quella risposta?
ehi, mi riferisco ad esempio alle tipiche ricerche Google.

e allora useremo centrali a fusione nucleare per i dissalatori. SPARC sarà operativa giusto nel 2030.
non si gioca più, adesso si fa sul serio.

scommetto che non si sveltiscono perchè sarà solo pieno di comitati di rincretiniti che bloccano le cose e avremo solo mille miliardi fermi ..

L'Europa è cauta, ma quando c'è un'emergenza reale lo hai visto anche tu che saltano tutte le regole.

In teoria economica si chiama Distruzione Creativa, il covid non ha spinto solo la ricerca medica, ma anche la digitalizzazione, l'e-commerce.

L'AI sta facendo distruzione creativa nel campo dei semiconduttori, ora si soffre, poi si fa un salto di 10 anni.

Le guerre di Trump stanno facendo distruzione creativa nella transizione energetica, dove è più semplice farlo perché prevale l'iniziativa personale, l'automotive.

Io non sono un grande fan della distruzione creativa, ma quando la vita ti tira solo limoni, almeno fatti una limonata.

e allora useremo centrali a fusione nucleare per i dissalatori. SPARC sarà operativa giusto nel 2030.


Forse... Sempre mettere un bel forse con la fusione, perché ogni progetto è sempre pronto al 99%, e quell'1% che manca è una tecnologia (o più tecnologie) ancora non provate.

Prima va acceso, poi va dimostrato che non si fonde, poi c'è il problema del Trizio, la quantità disponibile sul pianeta va giusto bene per fare un test, poi però devi riuscire a produrlo e questo processo è solo teorico, non è mai stato dimostrato.

so pressochè niente, volevo sapere se a "domande" o "query" ripetute corrisponde un archivio-database da cui pescare la risposta,
oppure ogni volta si fa lavorare tempo macchina per trovarla quella risposta?
ehi, mi riferisco ad esempio alle tipiche ricerche Google.

Cosa intendi per Google? Perché oggi pure Google ti piazza l'AI Search davanti alle ricerche classiche.

L'AI non ha un archivio da cui pescare le risposte, si fanno cache dei token per risparmiare un po' di calcoli, ma sai qual è la cosa più strana degli LLM?

Che non contengono proprio le risposte alle domande che fai.

Quando tu chiedi "Come si chiama la famosa torre di ferro più alta di Francia?" - Un LLM risponde sicuro "Torre Eifel" e poi parte col pippone raccontandoti un sacco di cose non richieste. Ma da nessuna parte nel modello c'è scritto "Torre Eifel" e neppure tutte le altre cose che ti racconta. Se tu smontassi il database di wikipedia pezzo per pezzo troveresti tutte le parole che la compongono, i testi, le foto, se smontassi un modello AI pezzo per pezzo non troveresti nessuna informazione sensata o interpretabile, solo numeri che non ti dicono nulla. Nessuno di questi numeri potrebbe essere decodificato direttamente in modo che restituisca qualcosa di simile ad una parola. L'unico modo per estrarre informazioni dal modello è parlargli.

Cosa intendi per Google? Perché oggi pure Google ti piazza l'AI Search davanti alle ricerche classiche.

Intanto, grazie per la risposta.

Per Google intendo il motore di ricerca, cerco qualcosa, e...
molto prima dell'AI si restituiva il significato di una singola parola o un'ordine di siti con la maggiore occorrenza per quella ricerca, in maniera decrescente
(magari con "indicizzazione" di Google (ditta) in maniera "pilotata-indicizzata")...
non ricordo nemmeno se quando si facesse una ricerca tipo, esempio qualsiasi: "quando bisogna bere il caffè?"
quale risultato venisse fuori che non fosse SOLO una citazione ESTRAPOLATA da qualche sito... sì, mi pare fosse così, una risposta a pappagallo...
poteva essere utile o no, ognuno decideva...
oggi, mi rendo conto perfettamente che, all'inizio, ci sono elenchi di risposte, con criterio, diversamente sfumate e OPZIONATE... fornite dall'AI...


L'AI non ha un archivio da cui pescare le risposte, si fanno cache dei token per risparmiare un po' di calcoli...
non mi è ancora chiaro cosa sia il token, unità base di ricerca forse?

ma su "cache" ci arrivo (ma non il rapporto rispetto al "token")
questa, presumo, risparmi un pò di "calcoli" ad un server o pc remoto, che tanto si riscaldano per fornire le risposte, ed essere raffreddati (non certo una sola "risposta" ovviamente
insomma tutta la massa delle operazioni computazionali, nell'esposizione internet in tutto il mondo, almeno non quello confinato, che produce risultati, e calore

ma sai qual è la cosa più strana degli LLM?

Che non contengono proprio le risposte alle domande che fai.

Quando tu chiedi "Come si chiama la famosa torre di ferro più alta di Francia?" - Un LLM risponde sicuro "Torre Eifel" e poi parte col pippone raccontandoti un sacco di cose non richieste. Ma da nessuna parte nel modello c'è scritto "Torre Eifel" e neppure tutte le altre cose che ti racconta. Se tu smontassi il database di wikipedia pezzo per pezzo troveresti tutte le parole che la compongono, i testi, le foto, se smontassi un modello AI* pezzo per pezzo non troveresti nessuna informazione sensata o interpretabile, solo numeri che non ti dicono nulla. Nessuno di questi numeri potrebbe essere decodificato direttamente in modo che restituisca qualcosa di simile ad una parola. L'unico modo per estrarre informazioni dal modello è parlargli.

* AI overview dice:

Un modello di intelligenza artificiale è un algoritmo matematico addestrato su enormi quantità di dati. Il suo scopo è riconoscere schemi, fare previsioni, prendere decisioni o generare nuovi contenuti (come testi o immagini) senza bisogno di istruzioni umane passo dopo passo
per numeri intendi l'algoritmo?
prima di estrarre informazioni, cosa fa il modello AI?
è lì in potenza, presumo :D :fagiano:

L'unico modo per estrarre informazioni dal modello è parlargli.

dovrà interessare l'LLM presumo :fagiano:
non faccio certo confusione per l'intenzione criteriale-ragionativa, se non quella per cui è stato addestrato

... comunque, volevo dire, tutte le operazioni degli LLM o dei motori AI, specifici e proprietari, sono quelli che richiedono potenza computazionale, che produce calore, e necessità di raffreddamento...
ecco, ritorno qui... ogni interrogazione sarà ripetuta milioni di volte in un tot periodo, CALCOLI RIPETUTI, e la "cache" ha quale compito? davvero marginale?
forse non ho capito ancora :fagiano:

ma poi: degli Hd-ssd e affini, che ha svuotato il mercato... i competitor AI, cosa se ne fanno? :D
ci mettono lo scibile umano, di ogni tipo?
non certo in copia singola, ovviamente

vado a dormire, leggerò domani
Grazie

non mi è ancora chiaro cosa sia il token, unità base di ricerca forse?



per numeri intendi l'algoritmo?
prima di estrarre informazioni, cosa fa il modello AI?
è lì in potenza, presumo :D :fagiano:


L'altra cosa poco intuitiva e poco nota di un modello AI è che non è un software, non c'è nessun algoritmo, il modello è realmente un insieme di numeri, i famosi "pesi" o "parametri" con cui si indica la dimensione del modello.

L'inferenza, cioè il processo con cui faccio le domande e ottengo la risposta, è un algoritmo, ma è separato dal modello.

Pensa a questa analogia: il modello è come un file mp3, sono dati, non software, l'inferenza è il player che prende questi dati e con un po' di matematica ricostruisce le onde sonore della musica.

I numeri del modello sono i parametri di un gigantesco calcolo (trilioni di calcoli anche per un prompt semplicissimo) che ha lo scopo di capire come continuare una frase.

Esempio:

"Sono stato a Napoli e ho mangiato un'ottima..." - completa la frase.

Ci sono probabilità molto alte che tu risponda pizza, poi magari vuoi sorprendermi e dici bistecca, che va bene lo stesso, ma pizza ha una probabilità più alta, quindi se lo chiedo a 1000 persone sarà la risposta che esce più spesso.

Un LLM fa circa la stessa cosa, prende la frase "Sono stato a Napoli e ho mangiato un'ottima" e sottoponendola a qualche trilione di somme e moltiplicazioni con i pesi del modello calcolerà la prossima parola più probabile, o meglio dei numeri che rappresentano la prossima parola più probabile. (detta male, in realtà è la prossima parola con la sua probabilità, quindi tante volte pizza, un po' meno bistecca, ancora meno polenta, ecc... ma ognuna di loro ha una probabilità non nulla di uscire, per questo le risposte non sono mai uguali)

da dove vengono fuori i token? Se alla fine di questi calcoli comunque il modello restituisce un numero che equivale ad una parola, dovrei avere un dizionario con tutte le parole di ognuna delle decine di lingue che il modello è in grado di comprendere, con tutti i plurali, singolari, varianti, ecc... e sarebbe un database molto grande. Così hanno pensato di spezzare le parole in token, pezzi. La parola pizza diventa... pizza. OK, perché è l'esempio sbagliato, le parole corte molto comuni si preferisce non spezzarle, diciamo che hai mangiato una ricotta. Diventa

ric - otta

il modello prima calcola come token più probabile ric, poi prende l'intera frase, compreso il token ric che ha appena aggiunto, e calcola il prossimo più probabile, che sarà otta. Alla fine per te la frase avrà senso, ma il modello nemmeno voleva scrivere ricotta.

Qual è il vantaggio dei token rispetto alle parole? Che essendo più corti le combinazioni sono meno e quindi i dizionari sono molto più piccoli, inoltre mentre la parola ricotta probabilmente esiste solo in Italiano, i token ric e otta esistono, come pezzi di parola, in tante altre lingue. Con circa 100.000 token diversi un modello riesce a rispondere in decine di lingue, senza bisogno di tradurre da una all'altra, i token andranno da soli al posto giusto in base alla probabilità che siano attinenti alla domanda che hai fatto.

Che dire, ci siamo messi "noi" in questa situazione... d'altra parte già oggi la quantità di energia per sostenere roba inutile tipo Facebook o Tic Toc non è trascurabile.

Aspetto con impazienza una e più manifestazioni di Ultima Generazione.

L'altra cosa poco intuitiva e poco nota di un modello AI è che non è un software, non c'è nessun algoritmo, il modello è realmente un insieme di numeri, i famosi "pesi" o "parametri" con cui si indica la dimensione del modello.

L'inferenza, cioè il processo con cui faccio le domande e ottengo la risposta, è un algoritmo, ma è separato dal modello.

Pensa a questa analogia: il modello è come un file mp3, sono dati, non software, l'inferenza è il player che prende questi dati e con un po' di matematica ricostruisce le onde sonore della musica.

I numeri del modello sono i parametri di un gigantesco calcolo (trilioni di calcoli anche per un prompt semplicissimo) che ha lo scopo di capire come continuare una frase.

Esempio:

"Sono stato a Napoli e ho mangiato un'ottima..." - completa la frase.

Ci sono probabilità molto alte che tu risponda pizza, poi magari vuoi sorprendermi e dici bistecca, che va bene lo stesso, ma pizza ha una probabilità più alta, quindi se lo chiedo a 1000 persone sarà la risposta che esce più spesso.

Un LLM fa circa la stessa cosa, prende la frase "Sono stato a Napoli e ho mangiato un'ottima" e sottoponendola a qualche trilione di somme e moltiplicazioni con i pesi del modello calcolerà la prossima parola più probabile, o meglio dei numeri che rappresentano la prossima parola più probabile. (detta male, in realtà è la prossima parola con la sua probabilità, quindi tante volte pizza, un po' meno bistecca, ancora meno polenta, ecc... ma ognuna di loro ha una probabilità non nulla di uscire, per questo le risposte non sono mai uguali)

da dove vengono fuori i token? Se alla fine di questi calcoli comunque il modello restituisce un numero che equivale ad una parola, dovrei avere un dizionario con tutte le parole di ognuna delle decine di lingue che il modello è in grado di comprendere, con tutti i plurali, singolari, varianti, ecc... e sarebbe un database molto grande. Così hanno pensato di spezzare le parole in token, pezzi. La parola pizza diventa... pizza. OK, perché è l'esempio sbagliato, le parole corte molto comuni si preferisce non spezzarle, diciamo che hai mangiato una ricotta. Diventa

ric - otta

il modello prima calcola come token più probabile ric, poi prende l'intera frase, compreso il token ric che ha appena aggiunto, e calcola il prossimo più probabile, che sarà otta. Alla fine per te la frase avrà senso, ma il modello nemmeno voleva scrivere ricotta.

Qual è il vantaggio dei token rispetto alle parole? Che essendo più corti le combinazioni sono meno e quindi i dizionari sono molto più piccoli, inoltre mentre la parola ricotta probabilmente esiste solo in Italiano, i token ric e otta esistono, come pezzi di parola, in tante altre lingue. Con circa 100.000 token diversi un modello riesce a rispondere in decine di lingue, senza bisogno di tradurre da una all'altra, i token andranno da soli al posto giusto in base alla probabilità che siano attinenti alla domanda che hai fatto.

Grazie,
mi valgono come appunti di riferimento, da misurarli sui dubbi.

CUT

non mi è ancora chiaro cosa sia il token, unità base di ricerca forse?

ma su "cache" ci arrivo (ma non il rapporto rispetto al "token")

CUT



la cosa affascinante è che neanche le IA sanno cosa sono i Token..

qualche mese fa chiesi a Chatgpt come caspita facevo a capire quanti token mi erano rimasti e quanti token stava costando il mio lavoro.. la risposta fu inutile.. perchè i token dipendono da questo e da quello ma anche se e poi così etc.. e non esiste una barra che vedi scendere per farti due conti e una domanda è sempre diversa dall'altra perchè dipende da come il sistema le lavora.. in definitiva usare 1 token o 1.000 token è lo stesso per loro.. non per le tue tasche..

finiti i token del servizio a pagamento decisi di prendere 1.000 token aggiuntivi per vedere come funzionava la cosa.. quando li compri li puoi vedere.. compare una bella riga con 1.000/1.000 token..
ho iniziato a lavorare e vedevo che i token scendevano bene e in un giorno 1.000 token erano svaniti con i miei 40 euro.. meno di un giorno a dire il vero se conto il tempo passato al pc..

ora ho scoperto che ho circa 300 milioni di token/giorno con il mio abbonamento ma che i token hanno un costo e peso diverso a seconda di come li uso.. chatgpt.. codex.. voice.. agente... etc..

in pratica non so ancora come "pesare" i token sul lavoro svolto.. non va in minuti.. non va in giga.. va in giraffe venusiane per secondo di nettunia fratto dinosauri rosa volanti.. ma solo dalle 15 gioviane alle 18 lunari.. sennò cambia..

fatto sta che se lavori ne mangi a pacchi.. e se sfrutti qualcosa di più ne mangi a gazilioni..

le IA sono consumose e sprecone proprio per come lavorano.. non sono menti lineari come possono essere le nostre.. sono "quantiche" a modo loro.. vanno per tentativi e se lo beccano al primo colpo sei felice se lo beccano dopo 15 minuti hai fatto fuori una vagonata di energia elettrica, acqua e token..

per farla breve ti rimpono le scatole se ti fai una doccia in più o lavi la macchina, ti impongono cose assurde per il risparmio energetico , ma tutti muti
riguardo questi data center che consumano ed inquinano un fottio

per farla breve ti rimpono le scatole se ti fai una doccia in più o lavi la macchina, ti impongono cose assurde per il risparmio energetico , ma tutti muti
riguardo questi data center che consumano ed inquinano un fottio

qua siamo arrivati all'assurdo di vietare di annaffiare gli orti ma di obbligarti a lavare le immondizie per consegnarle prive di residui..

pensa te come sta andando a viole la gente in UE..

la cosa affascinante è che neanche le IA sanno cosa sono i Token..

qualche mese fa chiesi a Chatgpt come caspita facevo a capire quanti token mi erano rimasti e quanti token stava costando il mio lavoro.. la risposta fu inutile.. perchè i token dipendono da questo e da quello ma anche se e poi così etc.. e non esiste una barra che vedi scendere per farti due conti e una domanda è sempre diversa dall'altra perchè dipende da come il sistema le lavora.. in definitiva usare 1 token o 1.000 token è lo stesso per loro.. non per le tue tasche..

finiti i token del servizio a pagamento decisi di prendere 1.000 token aggiuntivi per vedere come funzionava la cosa.. quando li compri li puoi vedere.. compare una bella riga con 1.000/1.000 token..
ho iniziato a lavorare e vedevo che i token scendevano bene e in un giorno 1.000 token erano svaniti con i miei 40 euro.. meno di un giorno a dire il vero se conto il tempo passato al pc..

ora ho scoperto che ho circa 300 milioni di token/giorno con il mio abbonamento ma che i token hanno un costo e peso diverso a seconda di come li uso.. chatgpt.. codex.. voice.. agente... etc..

in pratica non so ancora come "pesare" i token sul lavoro svolto.. non va in minuti.. non va in giga.. va in giraffe venusiane per secondo di nettunia fratto dinosauri rosa volanti.. ma solo dalle 15 gioviane alle 18 lunari.. sennò cambia..

fatto sta che se lavori ne mangi a pacchi.. e se sfrutti qualcosa di più ne mangi a gazilioni..

le IA sono consumose e sprecone proprio per come lavorano.. non sono menti lineari come possono essere le nostre.. sono "quantiche" a modo loro.. vanno per tentativi e se lo beccano al primo colpo sei felice se lo beccano dopo 15 minuti hai fatto fuori una vagonata di energia elettrica, acqua e token..
Grazie per il "feedback"...
ma... quindi i miei dubbi (e io sono solo a margine molto sul bordo, solo delle informazioni) non sono da problemi "facili"... ma...:
secondo me se è così difficile avere un'equazione economica posso anche sospettare che ogni fornitore di AI, per uso produttivo, si faccia le proprie regole economiche di vendita,
tipo dove fare sfumare -anche- costi di gestione, e profitto...
in un'ambiente di olio di serpent nebulizzato, di AI :D

Grazie per il "feedback"...
ma... quindi i miei dubbi (e io sono solo a margine molto sul bordo, solo delle informazioni) non sono da problemi "facili"... ma...:
secondo me se è così difficile avere un'equazione economica posso anche sospettare che ogni fornitore di AI, per uso produttivo, si faccia le proprie regole economiche di vendita,
tipo dove fare sfumare -anche- costi di gestione, e profitto...
in un'ambiente di olio di serpent nebulizzato, di AI :D

è un sospetto molto serio che ho da quando ho visto che ho consumato 1 miliardo di token in un week end per aver usato l'agente con la funzione voice..
è stato spaventoso.. ma per fortuna questo non ha influito sulle mie finanze perchè ha semplicemente bloccato per una settimana la sua funzionalità.. amen.. ma mi ha fatto capire che se i prezzi e le regole cambieranno il mio concetto di "ricatto" da parte delle società che possiedono le IA, che qualcuno in questo forum non ha capito, è più che reale e applicabile..

compriamo un servizio che non sappiamo quanto costa ma che oggi ci viene svenduto e quando sarà maturo saranno dolori per noi che lo usiamo e passare alle versioni free vorrà dire usare una panda per trasportare merci dove gli altri usano i camion..

è un sospetto molto serio che ho da quando ho visto che ho consumato 1 miliardo di token in un week end per aver usato l'agente con la funzione voice..
è stato spaventoso.. ma per fortuna questo non ha influito sulle mie finanze perchè ha semplicemente bloccato per una settimana la sua funzionalità.. amen.. ma mi ha fatto capire che se i prezzi e le regole cambieranno il mio concetto di "ricatto" da parte delle società che possiedono le IA, che qualcuno in questo forum non ha capito, è più che reale e applicabile..

compriamo un servizio che non sappiamo quanto costa ma che oggi ci viene svenduto e quando sarà maturo saranno dolori per noi che lo usiamo e passare alle versioni free vorrà dire usare una panda per trasportare merci dove gli altri usano i camion..
Grazie per i chiarimenti, per chi non usa AI per produzione e affini...

Tuttavia... credo che i calcoli dipendano anche dalle cpu utilizzate:

tipo... il mainframe, o il server, o QUELCHESIA hanno multi cpu Intèl XeonGoldMachine/ o AMD ThreadEater o altro/
oltre a Nvidia specialized hw?
il consumo di energia elettrica diverso influirà anche sul calcolo del compenso delle risposte fornite, presumo...
(se già non lo fanno per ogni "macchina")
:fagiano:
si dovrà pur organizzare e ottimizzare, dopo le novità epocali di utilizzo,
il vantaggio economico a fronte della stessa risposta fornita in base alle cpu impiegate...
:BOH:

dovranno interessare i BENCHMARK PER IL CENTRO REMOTO DI ELABORAZIONE DI RIFERIMENTO! :D
ehm

ora ho scoperto che ho circa 300 milioni di token/giorno con il mio abbonamento ma che i token hanno un costo e peso diverso a seconda di come li uso.. chatgpt.. codex.. voice.. agente... etc..

Il problema nasce dal fatto che per questo tetto di token tu hai pagato una cifra fissa, mentre i token hanno costi enormemente diversi per loro, che va da praticamente zero se sono in cache a cifre molto basse quando il router ti manda sui modelli stupidi e molto alte quanto ti manda su quelli più densi. Persino il router consuma token e i tuoi token in ingresso diventano i token di ingresso di più modelli, quelli in uscita diventano quelli in ingresso di altri e così via.

L'alternativa sarebbe fatturarti i token usati dividendoli per tipologia, te ne troveresti praticamente decine di queste tipologie, e sarebbe un caos.

compriamo un servizio che non sappiamo quanto costa ma che oggi ci viene svenduto e quando sarà maturo saranno dolori per noi che lo usiamo e passare alle versioni free vorrà dire usare una panda per trasportare merci dove gli altri usano i camion..

Non è che passi alle versioni free, passi alle versioni dei concorrenti. Finché ci sarà libero mercato e nessuna di queste tecnologie sarà realmente esclusiva non c'è modo per i provider di fare ciò che vogliono.

I costi sono sempre scesi nel tempo, grazie a economie di scala e ottimizzazione, le gente non se ne accorge perché usa l'evoluzione tecnologica per fare di più, non per spendere meno, ma nel 2023 GPT 4 costava $30 per 1M di token in input e $60 per 1M di token in output, oggi se vuoi usare lo stesso modello spendi $2 / $8, una differenza notevole, ma potresti usare Qwen 3.7 plus, che è un modello nettamente superiore a GPT 4, spendendo $0.5 / $1.6, stiamo parlando di prestazioni superiori per un costo di 60 volte inferiore, in tre anni.

Non è che passi alle versioni free, passi alle versioni dei concorrenti. Finché ci sarà libero mercato e nessuna di queste tecnologie sarà realmente esclusiva non c'è modo per i provider di fare ciò che vogliono.

I costi sono sempre scesi nel tempo, grazie a economie di scala e ottimizzazione, le gente non se ne accorge perché usa l'evoluzione tecnologica per fare di più, non per spendere meno, ma nel 2023 GPT 4 costava $30 per 1M di token in input e $60 per 1M di token in output, oggi se vuoi usare lo stesso modello spendi $2 / $8, una differenza notevole, ma potresti usare Qwen 3.7 plus, che è un modello nettamente superiore a GPT 4, spendendo $0.5 / $1.6, stiamo parlando di prestazioni superiori per un costo di 60 volte inferiore, in tre anni.

non passerei ai concorrenti perchè quando salirà uno saliranno anche gli altri, basta vedere il costo delle soluzioni attuai.. praticamente tutte allineate.. quindi no.. se salgono i prezzi la soluzione non è dare i propri soldi ad un concorrente per perdere tempo e imparare il nuovo software..

e anche fare il downgrade del modello è ridicolo lo stesso..

noi usiamo le IA per lavorare e non possiamo perdere tempo perchè, come dicono i nonni, il tempo è denaro e se perdi tempo gli altri ti passano davanti e tu perdi soldi, tempo e lavoro..

quindi no.. la soluzione non c'è se non , pagare di più.. il che appunto è il concetto di ricatto.. se non vuoi perdere il lavoro paghi di più.. fine.. come tanti altri servizi che già usiamo da lustri e che per non perdere il nostro primato continuiamo a pagare anche se ogni anno salgono del 5-8% .. (10 anni .. immagina che vuol dire)

non passerei ai concorrenti perchè quando salirà uno saliranno anche gli altri, basta vedere il costo delle soluzioni attuai.. praticamente tutte allineate.. quindi no.. se salgono i prezzi la soluzione non è dare i propri soldi ad un concorrente per perdere tempo e imparare il nuovo software..


Ma non salgono, te l'ho mostrato, si amplia l'offerta, i prezzi scendono, ma la gente sta imparando a fare di più.

e anche fare il downgrade del modello è ridicolo lo stesso..

Non è fare il downgrade del modello, è usare lo strumento giusto per risolvere il problema giusto. Usare GPT 5.5 per classificare e scrivere mail è stupido se stai pagando a consumo.

L'AI può tranquillamente saturare specifici problemi, non è che tutti devono usarla per dimostrare le congetture di Erdos

noi usiamo le IA per lavorare e non possiamo perdere tempo perchè, come dicono i nonni, il tempo è denaro e se perdi tempo gli altri ti passano davanti e tu perdi soldi, tempo e lavoro..

Al momento stai usando un approccio da cavernicolo, e va anche bene così se il budget non è un problema, nel momento che diventasse un problema scoprirai che puoi fare le stesse cose usandola meglio.

Se poi tu davvero stai spaccando l'atomo allora cercherai sempre l'ultimo costosissimo modello di frontiera al massimo livello possibile, ma le aziende con l'AI di solito producono documenti, analizzano e classificano dati, spiegano cose e propongono strategie, non serve Mythos per questo. Già con il coding, io che la uso da molto prima che inventassero gli agenti, sono più che soddisfatto di ciò che c'è. Altri programmatori mi dicono che modelli di frontiera Cinesi appena usciti eguagliano e in qualche caso superano GPT 5.5, a me non serve meglio di così.

Una delle cose più rivoluzionarie dell'AI è che siccome tutto è riducibile a prompt in linguaggio naturale è molto difficile rimanere ingabbiati in un ecosistema, e questo come effetto ha che il tuo fornitore di servizi proverà a saturare la tua capacità di spesa, ma non a superarla, perché altrimenti te ne vai.

basta vedere il costo delle soluzioni attuai.

Fatti un giro anche qui

https://artificialanalysis.ai/

guardati l'appiattimento lato intelligenza, e la variabilità invece lato costi. Fatti un giro anche nei benchmark interni sui vari ambiti.