'Non è sostenibile': il CEO di ARM punta il dito contro la richiesta energetica dell'IA

[benderchetioffender]

Originariamente inviato da mally

anche le server farm che tengono su internet cosumano, ma se il prodotto che fanno girare permette di guadagnare di piu' di quanto consumano il problema non si pone. Fine della storia...

e qui il discorso si allarga, e di parecchio

allo stato attuale in tutto il mondo si sta investendo denari in AI, tutti stanno lavorando in perdita per guadagnare una posizione di supremazia nel mercato globale

quindi al momento nessuno guadagna veramente dalle AI
il problema che pone il personaggio è proprio che con questo trend la crescita proiettata a tot anni è abnorme
in realtà appunto qualcuno finirà il carburante e getterà la spugna, ma è una partita enorme ed è molto difficile capirne i contorni temporali e andamento futuro;
banalmente bisognerà anche fare i conti con il numero di posti di lavoro inceneriti: per dire uno dei settori, tutto il plotone di "giornalisti da filler" potrebbe sparire e lo sta già facendo, ed è molto improbabile che qualcuno di questi si ricicli in "AI expert"

[s12a]

Originariamente inviato da TorettoMilano

nell'articolo veniva esposto ampliamante il problema non solo per addestrarlo ma anche per usarlo, incollo una piccola parte dell'articolo

Una richiesta ad un chatbot locale con una scheda di fascia alta dura 10 secondi a dire tanto, o giù di lì. Anche considerando il consumo dell'intero PC con la scheda slimitata, 500 watt per 10 secondi sono 1.4 watt-ora.

Nella pratica in questi casi cambia poco in termini velocistici usare la scheda con power limit abbassato (io la uso a 250W), e durante una richiesta in queste condizioni il consumo del PC complessivamente scende attorno a 350W, dunque il consumo energetico per richiesta ad 1 watt-ora.

Ma se si tiene conto solo del consumo della GPU che non si avrebbe con il PC acceso senza giocare con i chatbot, allora saremmo ad un costo energetico effettivo della sola richiesta al netto di tutto di circa 0.75 watt-ora.

Bisogna considerare anche come la GPU viene usata. Una sessione continua ad un gioco 3D per 2-3 ore richiede complessivamente più energia di un chatbot usato ad intermittenza.

[benderchetioffender]

Originariamente inviato da s12a

Una richiesta ad un chatbot locale con una scheda di fascia alta dura 10 secondi a dire tanto, o giù di lì. Anche considerando il consumo dell'intero PC con la scheda slimitata, 500 watt per 10 secondi sono 1.4 watt-ora.
.....Bisogna considerare anche come la GPU viene usata. Una sessione continua ad un gioco 3D per 2-3 ore richiede complessivamente più energia di un chatbot usato ad intermittenza.

credo che il calcolo mette dentro anche l'addestramento, che è la parte onerosa in termini energetici ed è in continuo aumento man mano che si mandano richieste

[s12a]

Originariamente inviato da benderchetioffender

credo che il calcolo mette dentro anche l'addestramento, che è la parte onerosa in termini energetici ed è in continuo aumento man mano che si mandano richieste

Una NVidia H100 SXM ha un TDP di 700W e probabilmente le usano a piena potenza, dunque grossomodo per una richiesta online i conti tornano, considerando il consumo complessivo del sistema (raffreddamento, rack, ecc).

Tocca considerare anche che difficilmente chi effettua questi studi ha interesse a riportare numeri che non supportino la tesi di eccessività.

[Wrib]

Originariamente inviato da TorettoMilano

ricordo simili ragionamenti, aspè quando li ho letti?...ah si sui bitcoin&co!!!
se leggi nell'articolo c'è scritto questo

si sta ipotizzando una crescita dal 4% al 25% in 5 anni

Per quanto riguarda bitcoin, il consumo crescerà soltanto se aumenterà di valore. L'aumento di valore di bitcoin spinge altri miner a entrare nel settore. Aumento di valore --> aumento miner --> aumento consumi energetici.

Se oggi bitcoin consuma X elettricità con un valore di 70k$ a bitcoin, se tra 10 anni varrà 700k$ viene da pensare che consumerà (a spanne) 10X di elettricità.

Tuttavia questo calcolo è errato, ogni 4 anni (2012,2016,2020,2024,2028,2032..ecc) si dimezza la quantità di nuovi bitcoin creati per i miner.

Quindi tra 10 anni saranno avvenuti 3 dimezzamenti: quello imminente del 2024, quello del 2028 e quello del 2032. Quindi a breve per l'halving del 2024 saranno la metà, tra quattro anni la metà della metà e tra 8 anni saranno un ottavo.

Quindi il consumo tra 10 anni di bitcoin, ipotizzando un valore 10 volte superiore sarà (sempre a spanne):

consumo attuale * 10 / 8 = consumo attuale * 1,25

Questo è il consumo energetico di bitcoin che si risolverà da solo, a fronte di un ipotetico aumento di valore di 10 volte avremmo un aumento di consumi di soli 1,25 in 10 anni. E più vai avanti con gli anni più si dimezza..Se si assesterà sul valore di 700k$ tra 12 anni per esempio con un ulteriore dimezzamento quel 1,25 sarà diventato 0,625..

Se bitcoin torna nel dimenticatoio come invece molti sperano/predicono il consumo calerà del tutto.

Ma l'unico modo che ha bitcoin per continuare ad aumentare il suo consumo energetico è aumentare di valore con un ritmo superiore al raddoppio di valore ogni 4 anni: se cioè sarà vero bitcoin sarà un ottimo store of value anti inflazione, se ciò non sarà vero il suo consumo energetico dimezzerà inevitabilmente ogni 4 anni.

Tutto questo è ancora un'approssimazione: ad un certo punto a suon di dimezzamenti delle ricompense, i nuovi bitcoin saranno un incentivo marginale, il consumo energetico si assesterà su quanto converrà spendere in corrente per prendersi i bitcoin delle commissioni allegate alle transazioni (fine transitorio speculativo in cui ci troviamo ancora ora, il mining sarà solo più funzione del "reale utilizzo transato" onchain).

p.s. le altre crypto tutte finto decentralizzate non contano ormai si sono vendute la carta di marketing del POS invece del POW, la quasi totalità del mining è bitcoin.

[UtenteHD]

Originariamente inviato da !fazz

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

Guarda che il mondo e' gia' pieno di IA offline che scarichi e fai funzionare con la tua RTX o AMD o Intel basta che hannmo i tensor cores, dalle chat a tutto il resto, mica le devo addestrare io, ci mancherebbe.
(continuo a leggere articoli vari a riguardo su altri siti di tech)
Cerca in giro che Github ne e' pieno e su altri siti vedi come scaricare mediamente 40GB e farle girare e visto che si parla di lavoro.. IL TUTTO OFFLINE IN PIENA PRIVACY.
Poi avevo anche letto articolo su altro sito come scaricare forse lama o qualcosa del genere per poi scaricare il modello chat che si preferisce per avvio in locale offline.

[io78bis]

Originariamente inviato da mally

hai un link che dimostri che si sta investendo in perdita?

Non esiste nessun link che affermi quello ma se guardi la ricerca d'investimenti e le varie motivazioni deduco che chi tra i propri sostenitori non ha qualcuno con Datacenter propri (vedi MS e OpenIA) sono in difficoltà e stanno cercando di monetizzare il proprio motore (vedi Stability).

[Wrib]

Originariamente inviato da io78bis

Non esiste nessun link che affermi quello ma se guardi la ricerca d'investimenti e le varie motivazioni deduco che chi tra i propri sostenitori non ha qualcuno con Datacenter propri (vedi MS e OpenIA) sono in difficoltà e stanno cercando di monetizzare il proprio motore (vedi Stability).

Secondo me al momento sono tutti in perdita..

Dall'articolo:
una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti.

Chi paga per accendere questa "lampadina"?

Riflettendoci adesso siamo in una fase in cui milioni di utenti possono gratuitamente utilizzare l'IA, utilizzo gratuito per l'utente, corrente reale pagata e consumata dall'azienda high tech americana.

Mi chiedo, quale sarà il modello di business per andare in profitto? A chi venderanno qualcosa? Alcune ipotesi di getto:

1) Creare IA a pagamento per aziende che vorranno tagliare personale o per liberi professionisti che vorrano avvalersi di un aiutante automatico?

2) Integrazione nei motori di ricerca web per una ricerca migliore (bing vs google?) che porta quindi più utenti al motore e quindi più introiti pubblcitari?

3) prodotti per militari di vario tipo

Quello che mi chiedo è l'utilizzo gratuito che ne fanno ora milioni di utenti, alle aziende che curano l'IA starà sicuramente servendo per migliorare il modello e per farsi una pubblicità iniziale mica lo fanno per beneficienza, sarà sempre gratuito o servirà a creare i prodotti commerciali che daranno solidità al business? (domanda forse retorica)

[io78bis]

Comunque tutti i Cloud provider ormai si stanno progettando le loro CPU ottimizzate per AI è solo questione di tempo perché aggiornino i loro Datacenter (vedi Axiom di Google o quello di Meta).

[io78bis]

Originariamente inviato da Wrib

Secondo me al momento sono tutti in perdita..

Dall'articolo:
una richiesta a ChatGPT richiede in media 2,9 wattora di elettricità, pari all'accensione di una lampadina da 60 watt per poco meno di tre minuti.

Chi paga per accendere questa "lampadina"?

Riflettendoci adesso siamo in una fase in cui milioni di utenti possono gratuitamente utilizzare l'IA, utilizzo gratuito per l'utente, corrente reale pagata e consumata dall'azienda high tech americana.

Mi chiedo, quale sarà il modello di business per andare in profitto? A chi venderanno qualcosa? Alcune ipotesi di getto:

1) Creare IA a pagamento per aziende che vorranno tagliare personale o per liberi professionisti che vorrano avvalersi di un aiutante automatico?

2) Integrazione nei motori di ricerca web per una ricerca migliore (bing vs google?) che porta quindi più utenti al motore e quindi più introiti pubblcitari?

3) prodotti per militari di vario tipo

Quello che mi chiedo è l'utilizzo gratuito che ne fanno ora milioni di utenti, alle aziende che curano l'IA starà sicuramente servendo per migliorare il modello e per farsi una pubblicità iniziale mica lo fanno per beneficienza, sarà sempre gratuito o servirà a creare i prodotti commerciali che daranno solidità al business? (domanda forse retorica)

Io perdita considero chi non ha i soldi. OpenAI ha le spalle più che coperte visto che è sotto l'ala di MS. Meta ha il suo. Google ha il suo. Poi ci sono i piccoli se così si possono chiamare che stanno cercando di entrare ma sarà difficile monetizzare il lavoro

[Wrib]

Originariamente inviato da io78bis

Io perdita considero chi non ha i soldi. OpenAI ha le spalle più che coperte visto che è sotto l'ala di MS. Meta ha il suo. Google ha il suo. Poi ci sono i piccoli se così si possono chiamare che stanno cercando di entrare ma sarà difficile monetizzare il lavoro

Ok, io intendo dire, il ramo IA per una grossa azienda sana è comunque un ramo che non genera ancora profitti. E' un investimento al momento (giustissimo e sacrosanto).

Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

[TorettoMilano]

Originariamente inviato da Wrib

Ok, io intendo dire, il ramo IA per una grossa azienda sana è comunque un ramo che non genera ancora profitti. E' un investimento al momento (giustissimo e sacrosanto).

Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

mi risulta già oggi diverse IA siano a pagamento, copilot pro e chatgp plus dovrebbero essere a pagamento per esempio

[io78bis]

Originariamente inviato da Wrib

....
Mi chiedo, per quanti anni pensano di restare non profittevoli prima di trasformare questo transitorio nel modello di business vero e proprio? Quale sarà esattamente? (pure curiosità da discorso generico).

È proprio lì il problema. Società AI che hanno tra gli investitori Cloud provider teoricamente possono resistere anni tanto i Cloud provider possono coprire i costi aumentando di poco i prezzi dei servizi Cloud e ottimizzando i costi dei datacenter. Niente di diverso da come Amazon ha sostenuto e-commerce inventandosi AWS.

Chi non riesce a trovarsi un partner con il proprio datacenter credo possa resistere molto poco visto che il costo HW non è indifferente.

[frankie]

C'è da dire che adesso c'è la moda dell'IA in tutto. Anche quando non serve.


Cerco una cosa su Bing e PAM, parte copilot da solo. Chi te lo ha chiesto?
il tutto per riportarti con altre parole il risultato del primo link.

Ecco, questo è uno spreco.

[Unrue]

Originariamente inviato da Giuss

Tutto questo per servizi che si sono inventati e che nessuno ha chiesto

Non l'avrà chiesta nessuno, ma la usano tutti...

Ricordo che si parlava dello stesso problema con il mining dei bitcoin. Bisogna che introducano modelli più efficienti di addestramento, che non richiedano così tante risorse. Già c'è LoRA, ma ne servono altri molti altri.

[Giuss]

Originariamente inviato da Unrue

Non l'avrà chiesta nessuno, ma la usano tutti...

Tutti tutti? Come ha scritto frankie poco fa a volte ce la troviamo nei siti senza averla chiesta

Personalmente ho provato chatgpt e bing e li ritengo totalmente inutili, ma immagino che in futuro ci saranno notevoli miglioramenti

[Unrue]

Originariamente inviato da Giuss

Tutti tutti? Come ha scritto frankie poco fa a volte ce la troviamo nei siti senza averla chiesta

Personalmente ho provato chatgpt e bing e li ritengo totalmente inutili, ma immagino che in futuro ci saranno notevoli miglioramenti

Io invece chatgpt lo trovo estremamente utile per scrivere piccoli pezzi di codice, mi risparmio un botto di tempo.

[zappy]

Originariamente inviato da !fazz

ia offline? mi sa che non hai idea di cosa significa creare un modello di IA

c'è un motivo per cui i modelli alla base delle IA sono stati fatti solo da pochi provider già in possesso di datacenter e potenza di calcolo ad iosa, addestrare un modello di IA costa milionate di dollari di sola energia elettrica, senza contare l'hardware necessario,

la povera pmi con un investimento di qualche decina di migliaia di euro in hardware ed energia al massimo può effettuare il tuning di un algoritmo pre addestrato mentre offline al massimo puoi eseguire un algoritmo di AI

ed è la fase iniziale che è quella che costa in termini energetici

se non ho capito male, ok il training iniziale ma poi più cresce più processa dati, più impiega risorse fisiche ed energetiche...
insomma, paragonabile a un db che cresce sempre e quindi richiede sempre più disco, sempre più cpu e sempre più ram...

[zappy]

Originariamente inviato da Unrue

Io invece chatgpt lo trovo estremamente utile per scrivere piccoli pezzi di codice, mi risparmio un botto di tempo.

verissimo.
specie per linguaggi che non si padroneggiano o proprio non si conoscono.
vedere come imposta le variabili, come crea cicli o salti condizionali ti dà un'idea di come costruire semplici programmini.
un po' come il registratore di macro di excel, che ti dà un'idea di come partire.

[Apozeme]

Abbiamo messo in rete tutte le IA del mondo, finalmente un'intelligenza superiore risolverà i nostri problemi.
"IA globale, come risolvere il problema dell'eccessivo consumo energetico dell'umanità?"
"10 secondi al lancio delle testate termonucleari, 9, 8, 7, 6...."