Link alla notizia: https://www.hwupgrade.it/news/scienza-tecnologia/non-e-sostenibile-il-ceo-di-arm-punta-il-dito-contro-la-richiesta-energetica-dell-ia_126143.html

Una "sete di elettricità" insaziabile, così il CEO di ARM Rene Haas ha commentato sul Wall Street Journal l'evoluzione dei modelli di intelligenza artificiale come ChatGPT di OpenAI. Non è l'unico: da più parti emergono numeri e previsioni preoccupanti.

Click sul link per visualizzare la notizia.

qual'è sempre stato il motto di nvidia?
"e a noi che ce frega, basta farle più grosse!"

Mi sembra la stessa lotta contro la blockchain.

Se consuma tanto ad un certo punto la corrente finisce e si fermano. Basta mettere un tetto alle potenze assorbite dai singoli in modo da spingerli ad innovare prima di vendere più di quello che possono permettersi.

Tanto è assodato che IA toglierà più posti di lavoro di quelli che creerà

Bel tema quello degli sprechi energetici...
Sempre attuale e quanto mai sempre sottovalutato alla fine.

Hanno ragione, ma oramai e' partito tutto, non si possono fermare, per ora troveranno una soluzione.
Successivamente, quando surclasseranno NVIDIA col suo motto sempre piu' esose di energia tanto le comprano comunque, allora avremo dei veri Chip appositi che consumano 1/10 o 1/100, ovvimente in X anni, nel frattempo ci si arrangia..

direi vadano obbligate le aziende del settore a investire in rinnovabili, ma rimarrebbe il problema di chi usa le IA offline col proprio pc

Torniamo sempre al solito discorso,le rinnovabili vanno benissimo ma serve la fusione,dobbiamo accelerare sulla fusione e sul geotermico di profondità, cioè scavare in profondità con macchinari che stanno sperimentando.

E' inutile... nessuno capisce o vuole capire la cosa più semplice del mondo: non possiamo continuare ad espanderci come razza umana. A tutti i livelli: energetici, demografici, di consumo di risorse non rinnovabili ed anche delle rinnovabili (perché non si rinnovano così in fretta). Nessuna razza può farlo, pena l'estinzione perché tanto il pianeta ci sopravviverà. Serve dire di no e fermarsi anche perché il mondo fino ad oggi ha fatto a meno di un sacco di cose, tra cui l'AI e quindi può continuare a farne a meno benissimo! E' sbagliato confondere il progresso con la re-iterazione consumistica e capitalista dei beni.

Consumano comunque molto meno dei condizionatori/refrigeratori nei negozi americani messi a 10° in agosto, con tanto di porte spalancate.
Sarà pure benaltrismo ma gli sprechi VERI sono ben altri che le AI (mia opinione).

Consumano comunque molto meno dei condizionatori/refrigeratori nei negozi americani messi a 10° in agosto, con tanto di porte spalancate.
Sarà pure benaltrismo ma gli sprechi VERI sono ben altri che le AI (mia opinione).

ricordo simili ragionamenti, aspè quando li ho letti?...ah si sui bitcoin&co!!!
se leggi nell'articolo c'è scritto questo
Senza una maggiore efficienza, "entro la fine del decennio, i datacenter di intelligenza artificiale potrebbero consumare dal 20% al 25% del fabbisogno energetico degli Stati Uniti. Oggi è probabilmente il 4% o meno", ha affermato. "Non è molto sostenibile, a dire il vero"
si sta ipotizzando una crescita dal 4% al 25% in 5 anni

Consumano comunque molto meno dei condizionatori/refrigeratori nei negozi americani messi a 10° in agosto, con tanto di porte spalancate.
Sarà pure benaltrismo ma gli sprechi VERI sono ben altri che le AI (mia opinione).

Direi che il ragionamento è giusto ma che ormai si debba lavorare su più fronti possibili

direi vadano obbligate le aziende del settore a investire in rinnovabili, ma rimarrebbe il problema di chi usa le IA offline col proprio pc

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

avevo letto di gente usare l'IA offline per chatbot/creare foto e video ma non ho mai approfondito, magari ho letto/ricordo male, può essere

avevo letto di gente usare l'IA offline per chatbot/creare foto e video ma non ho mai approfondito, magari ho letto/ricordo male, può essere

quello è usare un modello non addestrarlo

questa è la storiella che cerca di vendervi apple con i suoi chip IA inseriti in ogni device poi nella realtà...

? parlavo in generale, qui per esempio ci sono info per qualsiasi dispositivo hw
https://www.reddit.com/r/LocalLLaMA/comments/16y95hk/a_starter_guide_for_playing_with_your_own_local_ai/?rdt=43602

quello è usare un modello non addestrarlo

nell'articolo veniva esposto ampliamente il problema non solo per addestrarlo ma anche per usarlo, incollo una piccola parte dell'articolo

Secondo un report dell'Agenzia Internazionale per l'Energia (AIE), una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti

Io da anni sostengo che l'AI non avra' questo grande impatto proprio per questioni energetiche.
A mio avviso sono limitati, seppur importanti, come ad esempio la medicina, gli ambiti in cui un tale esborso energetico sia giustificabile e sostemibile (anche solo finanziariamente, lasciando stare le questioni ecologiche).

La mia convinzione si basa su un semplice, incontestabile principio: le macchine biologiche hanno un efficienza incomparabilmente superiore rispetto alle macchine elettroniche. Un essere umano, se stimolato opportunamente e' in grado di esprimere un enorme intelligenza al costo di una ciotola di riso al giorno o poco piu'. La questione centrale nello sviluppo della razza umana e' come creare questi "stimoli opportiuni", ovvero le condizioni sociali che permettano alla maggior parte degli esseri umani di esprimere il loro immenso potenziale intelettuale a basso consumo.

? parlavo in generale, qui per esempio ci sono info per qualsiasi dispositivo hw
https://www.reddit.com/r/LocalLLaMA/comments/16y95hk/a_starter_guide_for_playing_with_your_own_local_ai/?rdt=43602



nell'articolo veniva esposto il problema non solo per addestrarlo ma anche per usarlo, incollo la parte interessata

si certo quando si usa una ai per applicazioni futili di massa con miliardi di richieste va considerato ma la tendenza sarà chiuderlo e mettere a pagamento le AI online (cosa che tanti sistemi stanno già facendo) utilizzandolo per lavoro 3wh di elettricità non sono nulla

Tutto questo per servizi che si sono inventati e che nessuno ha chiesto

Bene, quando nasce un problema, ci si applica per trovare la soluzione.
E' lo stimolo che ci fa progredire da sempre.
Quindi, o si trova la maniera di produrre più elettricità, o si fa consumare meno elettricità ai chip...

Tutto questo per servizi che si sono inventati e che nessuno ha chiesto

Non proprio nessuno: ci sono molte aziende che si aspettano di poter tagliare il personale per avere risultati in pochi minuti per un lavoro che richiederebbe settimane. Con costi diretti nettamente inferiori.

anche le server farm che tengono su internet cosumano, ma se il prodotto che fanno girare permette di guadagnare di piu' di quanto consumano il problema non si pone. Fine della storia...

e qui il discorso si allarga, e di parecchio

allo stato attuale in tutto il mondo si sta investendo denari in AI, tutti stanno lavorando in perdita per guadagnare una posizione di supremazia nel mercato globale

quindi al momento nessuno guadagna veramente dalle AI
il problema che pone il personaggio è proprio che con questo trend la crescita proiettata a tot anni è abnorme
in realtà appunto qualcuno finirà il carburante e getterà la spugna, ma è una partita enorme ed è molto difficile capirne i contorni temporali e andamento futuro;
banalmente bisognerà anche fare i conti con il numero di posti di lavoro inceneriti: per dire uno dei settori, tutto il plotone di "giornalisti da filler" potrebbe sparire e lo sta già facendo, ed è molto improbabile che qualcuno di questi si ricicli in "AI expert"

nell'articolo veniva esposto ampliamante il problema non solo per addestrarlo ma anche per usarlo, incollo una piccola parte dell'articolo
Secondo un report dell'Agenzia Internazionale per l'Energia (AIE), una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti
Una richiesta ad un chatbot locale con una scheda di fascia alta dura 10 secondi a dire tanto, o giù di lì. Anche considerando il consumo dell'intero PC con la scheda slimitata, 500 watt per 10 secondi sono 1.4 watt-ora.

Nella pratica in questi casi cambia poco in termini velocistici usare la scheda con power limit abbassato (io la uso a 250W), e durante una richiesta in queste condizioni il consumo del PC complessivamente scende attorno a 350W, dunque il consumo energetico per richiesta ad 1 watt-ora.

Ma se si tiene conto solo del consumo della GPU che non si avrebbe con il PC acceso senza giocare con i chatbot, allora saremmo ad un costo energetico effettivo della sola richiesta al netto di tutto di circa 0.75 watt-ora.

Bisogna considerare anche come la GPU viene usata. Una sessione continua ad un gioco 3D per 2-3 ore richiede complessivamente più energia di un chatbot usato ad intermittenza.

Una richiesta ad un chatbot locale con una scheda di fascia alta dura 10 secondi a dire tanto, o giù di lì. Anche considerando il consumo dell'intero PC con la scheda slimitata, 500 watt per 10 secondi sono 1.4 watt-ora.
.....Bisogna considerare anche come la GPU viene usata. Una sessione continua ad un gioco 3D per 2-3 ore richiede complessivamente più energia di un chatbot usato ad intermittenza.

credo che il calcolo mette dentro anche l'addestramento, che è la parte onerosa in termini energetici ed è in continuo aumento man mano che si mandano richieste

credo che il calcolo mette dentro anche l'addestramento, che è la parte onerosa in termini energetici ed è in continuo aumento man mano che si mandano richieste

Una NVidia H100 SXM ha un TDP di 700W e probabilmente le usano a piena potenza, dunque grossomodo per una richiesta online i conti tornano, considerando il consumo complessivo del sistema (raffreddamento, rack, ecc).

Tocca considerare anche che difficilmente chi effettua questi studi ha interesse a riportare numeri che non supportino la tesi di eccessività.

ricordo simili ragionamenti, aspè quando li ho letti?...ah si sui bitcoin&co!!!
se leggi nell'articolo c'è scritto questo

si sta ipotizzando una crescita dal 4% al 25% in 5 anni

Per quanto riguarda bitcoin, il consumo crescerà soltanto se aumenterà di valore. L'aumento di valore di bitcoin spinge altri miner a entrare nel settore. Aumento di valore --> aumento miner --> aumento consumi energetici.

Se oggi bitcoin consuma X elettricità con un valore di 70k$ a bitcoin, se tra 10 anni varrà 700k$ viene da pensare che consumerà (a spanne) 10X di elettricità.

Tuttavia questo calcolo è errato, ogni 4 anni (2012,2016,2020,2024,2028,2032..ecc) si dimezza la quantità di nuovi bitcoin creati per i miner.

Quindi tra 10 anni saranno avvenuti 3 dimezzamenti: quello imminente del 2024, quello del 2028 e quello del 2032. Quindi a breve per l'halving del 2024 saranno la metà, tra quattro anni la metà della metà e tra 8 anni saranno un ottavo.

Quindi il consumo tra 10 anni di bitcoin, ipotizzando un valore 10 volte superiore sarà (sempre a spanne):

consumo attuale * 10 / 8 = consumo attuale * 1,25

Questo è il consumo energetico di bitcoin che si risolverà da solo, a fronte di un ipotetico aumento di valore di 10 volte avremmo un aumento di consumi di soli 1,25 in 10 anni. E più vai avanti con gli anni più si dimezza..Se si assesterà sul valore di 700k$ tra 12 anni per esempio con un ulteriore dimezzamento quel 1,25 sarà diventato 0,625..

Se bitcoin torna nel dimenticatoio come invece molti sperano/predicono il consumo calerà del tutto.

Ma l'unico modo che ha bitcoin per continuare ad aumentare il suo consumo energetico è aumentare di valore con un ritmo superiore al raddoppio di valore ogni 4 anni: se cioè sarà vero bitcoin sarà un ottimo store of value anti inflazione, se ciò non sarà vero il suo consumo energetico dimezzerà inevitabilmente ogni 4 anni.

Tutto questo è ancora un'approssimazione: ad un certo punto a suon di dimezzamenti delle ricompense, i nuovi bitcoin saranno un incentivo marginale, il consumo energetico si assesterà su quanto converrà spendere in corrente per prendersi i bitcoin delle commissioni allegate alle transazioni (fine transitorio speculativo in cui ci troviamo ancora ora, il mining sarà solo più funzione del "reale utilizzo transato" onchain).

p.s. le altre crypto tutte finto decentralizzate non contano ormai si sono vendute la carta di marketing del POS invece del POW, la quasi totalità del mining è bitcoin.

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

Guarda che il mondo e' gia' pieno di IA offline che scarichi e fai funzionare con la tua RTX o AMD o Intel basta che hannmo i tensor cores, dalle chat a tutto il resto, mica le devo addestrare io, ci mancherebbe.
(continuo a leggere articoli vari a riguardo su altri siti di tech)
Cerca in giro che Github ne e' pieno e su altri siti vedi come scaricare mediamente 40GB e farle girare e visto che si parla di lavoro.. IL TUTTO OFFLINE IN PIENA PRIVACY.
Poi avevo anche letto articolo su altro sito come scaricare forse lama o qualcosa del genere per poi scaricare il modello chat che si preferisce per avvio in locale offline.

hai un link che dimostri che si sta investendo in perdita?

Non esiste nessun link che affermi quello ma se guardi la ricerca d'investimenti e le varie motivazioni deduco che chi tra i propri sostenitori non ha qualcuno con Datacenter propri (vedi MS e OpenIA) sono in difficoltà e stanno cercando di monetizzare il proprio motore (vedi Stability).

Non esiste nessun link che affermi quello ma se guardi la ricerca d'investimenti e le varie motivazioni deduco che chi tra i propri sostenitori non ha qualcuno con Datacenter propri (vedi MS e OpenIA) sono in difficoltà e stanno cercando di monetizzare il proprio motore (vedi Stability).

Secondo me al momento sono tutti in perdita..

Dall'articolo:
una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti.

Chi paga per accendere questa "lampadina"?

Riflettendoci adesso siamo in una fase in cui milioni di utenti possono gratuitamente utilizzare l'IA, utilizzo gratuito per l'utente, corrente reale pagata e consumata dall'azienda high tech americana.

Mi chiedo, quale sarà il modello di business per andare in profitto? A chi venderanno qualcosa? Alcune ipotesi di getto:

1) Creare IA a pagamento per aziende che vorranno tagliare personale o per liberi professionisti che vorrano avvalersi di un aiutante automatico?

2) Integrazione nei motori di ricerca web per una ricerca migliore (bing vs google?) che porta quindi più utenti al motore e quindi più introiti pubblcitari?

3) prodotti per militari di vario tipo

Quello che mi chiedo è l'utilizzo gratuito che ne fanno ora milioni di utenti, alle aziende che curano l'IA starà sicuramente servendo per migliorare il modello e per farsi una pubblicità iniziale mica lo fanno per beneficienza, sarà sempre gratuito o servirà a creare i prodotti commerciali che daranno solidità al business? (domanda forse retorica)

Comunque tutti i Cloud provider ormai si stanno progettando le loro CPU ottimizzate per AI è solo questione di tempo perché aggiornino i loro Datacenter (vedi Axiom di Google o quello di Meta).

Secondo me al momento sono tutti in perdita..

Dall'articolo:
una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti.

Chi paga per accendere questa "lampadina"?

Riflettendoci adesso siamo in una fase in cui milioni di utenti possono gratuitamente utilizzare l'IA, utilizzo gratuito per l'utente, corrente reale pagata e consumata dall'azienda high tech americana.

Mi chiedo, quale sarà il modello di business per andare in profitto? A chi venderanno qualcosa? Alcune ipotesi di getto:

1) Creare IA a pagamento per aziende che vorranno tagliare personale o per liberi professionisti che vorrano avvalersi di un aiutante automatico?

2) Integrazione nei motori di ricerca web per una ricerca migliore (bing vs google?) che porta quindi più utenti al motore e quindi più introiti pubblcitari?

3) prodotti per militari di vario tipo

Quello che mi chiedo è l'utilizzo gratuito che ne fanno ora milioni di utenti, alle aziende che curano l'IA starà sicuramente servendo per migliorare il modello e per farsi una pubblicità iniziale mica lo fanno per beneficienza, sarà sempre gratuito o servirà a creare i prodotti commerciali che daranno solidità al business? (domanda forse retorica)

Io perdita considero chi non ha i soldi. OpenAI ha le spalle più che coperte visto che è sotto l'ala di MS. Meta ha il suo. Google ha il suo. Poi ci sono i piccoli se così si possono chiamare che stanno cercando di entrare ma sarà difficile monetizzare il lavoro

Io perdita considero chi non ha i soldi. OpenAI ha le spalle più che coperte visto che è sotto l'ala di MS. Meta ha il suo. Google ha il suo. Poi ci sono i piccoli se così si possono chiamare che stanno cercando di entrare ma sarà difficile monetizzare il lavoro

Ok, io intendo dire, il ramo IA per una grossa azienda sana è comunque un ramo che non genera ancora profitti. E' un investimento al momento (giustissimo e sacrosanto).

Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

Ok, io intendo dire, il ramo IA per una grossa azienda sana è comunque un ramo che non genera ancora profitti. E' un investimento al momento (giustissimo e sacrosanto).

Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

mi risulta già oggi diverse IA siano a pagamento, copilot pro e chatgp plus dovrebbero essere a pagamento per esempio

....
Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

È proprio lì il problema. Società AI che hanno tra gli investitori Cloud provider teoricamente possono resistere anni tanto i Cloud provider possono coprire i costi aumentando di poco i prezzi dei servizi Cloud e ottimizzando i costi dei datacenter. Niente di diverso da come Amazon ha sostenuto e-commerce inventandosi AWS.

Chi non riesce a trovarsi un partner con il proprio datacenter credo possa resistere molto poco visto che il costo HW non è indifferente.

C'è da dire che adesso c'è la moda dell'IA in tutto. Anche quando non serve.


Cerco una cosa su Bing e PAM, parte copilot da solo. Chi te lo ha chiesto?
il tutto per riportarti con altre parole il risultato del primo link.

Ecco, questo è uno spreco.

Tutto questo per servizi che si sono inventati e che nessuno ha chiesto

Non l'avrà chiesta nessuno, ma la usano tutti...

Ricordo che si parlava dello stesso problema con il mining dei bitcoin. Bisogna che introducano modelli più efficienti di addestramento, che non richiedano così tante risorse. Già c'è LoRA, ma ne servono altri molti altri.

Non l'avrà chiesta nessuno, ma la usano tutti...


Tutti tutti? Come ha scritto frankie poco fa a volte ce la troviamo nei siti senza averla chiesta

Personalmente ho provato chatgpt e bing e li ritengo totalmente inutili, ma immagino che in futuro ci saranno notevoli miglioramenti

Tutti tutti? Come ha scritto frankie poco fa a volte ce la troviamo nei siti senza averla chiesta

Personalmente ho provato chatgpt e bing e li ritengo totalmente inutili, ma immagino che in futuro ci saranno notevoli miglioramenti

Io invece chatgpt lo trovo estremamente utile per scrivere piccoli pezzi di codice, mi risparmio un botto di tempo.

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

se non ho capito male, ok il training iniziale ma poi più cresce più processa dati, più impiega risorse fisiche ed energetiche...
insomma, paragonabile a un db che cresce sempre e quindi richiede sempre più disco, sempre più cpu e sempre più ram...:mbe:

Io invece chatgpt lo trovo estremamente utile per scrivere piccoli pezzi di codice, mi risparmio un botto di tempo.
verissimo. :)
specie per linguaggi che non si padroneggiano o proprio non si conoscono.
vedere come imposta le variabili, come crea cicli o salti condizionali ti dà un'idea di come costruire semplici programmini.
un po' come il registratore di macro di excel, che ti dà un'idea di come partire.

Abbiamo messo in rete tutte le IA del mondo, finalmente un'intelligenza superiore risolverà i nostri problemi.
"IA globale, come risolvere il problema dell'eccessivo consumo energetico dell'umanità?"
"10 secondi al lancio delle testate termonucleari, 9, 8, 7, 6...."

Abbiamo messo in rete tutte le IA del mondo, finalmente un'intelligenza superiore risolverà i nostri problemi.
"IA globale, come risolvere il problema dell'eccessivo consumo energetico dell'umanità?"
"10 secondi al lancio delle testate termonucleari, 9, 8, 7, 6...."

E chi lo sa?
Può anche dire, signori chi ha avuto ha avuto chi ha dato ha dato
io me ne lavo le mani e vi abbandono me ne vado insieme alle mie amiche.

se non ho capito male, ok il training iniziale ma poi più cresce più processa dati, più impiega risorse fisiche ed energetiche...
insomma, paragonabile a un db che cresce sempre e quindi richiede sempre più disco, sempre più cpu e sempre più ram...:mbe:

circa solo che nel caso dei modelli di ai la crescita è esponenziale

circa solo che nel caso dei modelli di ai la crescita è esponenziale
già, immagino... :help: