Dal tokenmaxxing al tokenminimizing: le big tech scoprono che l'IA costa troppo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/mercat...po_155003.html

Dalle classifiche che premiavano chi bruciava più token ai tetti mensili per dipendente: AT&T, Uber, Walmart, Meta e Amazon hanno cambiato rotta. I costi agentici hanno triplicato le fatture enterprise anche con prezzi per-token in calo

Click sul link per visualizzare la notizia.

[bonzoxxx]

Ma va? Ma pensa, non lo avrei mai detto.

Questo nasce quando si fanno scelte a cazzo gestite da persone che credono di sapere.

Se si approfondisse la materia e si lavorasse anche con l'AI in locale, si scoprirebbero tante cose che i professori dell'AI ignorano. E parlo per esperienza visto che dove sono ora vorrebbero mettere l'AI anche nel caffè ma poi, parlandoci, dopo 4 termini tecnici specifici li vedi con l'occhio da triglia che cercano una via di fuga.

E io non sono un esperto, mi sto solo appassionando alla materia e ho ancora tanto da studiare.

Per dire, Fable 5 costa 10 dollari/M token, praticamente se un agente lo lasci usare fable senza limiti dopo un giorno di trovi indebitato più del Burundi. Vero che è estremamente potente, ma costa una fucilata.

[Cfranco]

L' AI fa peggio di un umano
E adesso pare proprio che costi anche di più di un umano
E nonostante questo le aziende AI spendono una marea di $$ senza ritorno economico
quando la bolla scoppierà sarà un bagno di sangue

[bonzoxxx]

Guarda, il problema è il concetto di fondo.

Il management spesso è bravo (si spera) a gestire ma pessimo nell'ambito tecnico. E l'AI necessita di essere compresa nella sua interezza per essere usata a dovere. Mettiamoci anche la FOMO che "se non usi l'AI rimani indietro e non sei nessuno" e il danno è fatto.

L'AI non è magica, non è la soluzione a tutto, ma è una ottima alleata e approfondendo l'uso dell'AI in locale me ne sto rendendo conto: può essere fantastica.

Il problema per le aziende è 1) l'uso dell'AI cloud perchè giustamente nessuno si sogna di mettere in piedi un datacenter AI 2) i costi che stanno letteralmente esplodendo 3) l'uso di agenti e sub agenti che se settati male bruciano token come una lamborghini in salita a tavoletta.

Perchè è fantastica: ho chiesto all'agente del mio lab, dopo aver installato il minimo sindacale, di controllare la sua configurazione, ottimizzarla, sistamare quello che doveva sistemare e darmi un report. Poi sono andato a farmi un thè, sono tornato e aveva fatto: non è magia, è come deve funzionare. Ma ha fatto qualche cazzata dato che, giustamente, non è assolutamente intelligente ma è "generativo".

Il problema, ripeto, sta nel nome e nel concetto, l'AI è tutto tranne che intelligente, è come avere un collega con il QI di 200 ma assolutamente autistico e non-empatico, bisogna fare dei prompt ben specifici per sfruttarlo bene altrimenti va per la tangente e fa cazzate; invece i geni dell'AI hanno detto e continuano a dire è che l'AI è magia nera che gli chiedi cose e le fa. Non è assolutamente vero.

Ha potenzialità enormi, è vero, quello che può fare un modello da 7GB è assolutamente impressionante, e lo confermo, ma non è magia, sono algoritmi generativi e come tali vanno usati, ovvero come assistenti/agenti sotto stretto controllo. In quel caso fanno paura ed effettivamente aiutano soprattutto in locale dove i dati rimangono privati e non dati in pasto alla megacorp di turno.

[Ago72]

Originariamente inviato da bonzoxxx

Guarda, il problema è il concetto di fondo.

Il management spesso è bravo (si spera) a gestire ma pessimo nell'ambito tecnico. E l'AI necessita di essere compresa nella sua interezza per essere usata a dovere. Mettiamoci anche la FOMO che "se non usi l'AI rimani indietro e non sei nessuno" e il danno è fatto.

L'AI non è magica, non è la soluzione a tutto, ma è una ottima alleata e approfondendo l'uso dell'AI in locale me ne sto rendendo conto: può essere fantastica.

Il problema per le aziende è 1) l'uso dell'AI cloud perchè giustamente nessuno si sogna di mettere in piedi un datacenter AI 2) i costi che stanno letteralmente esplodendo 3) l'uso di agenti e sub agenti che se settati male bruciano token come una lamborghini in salita a tavoletta.

Perchè è fantastica: ho chiesto all'agente del mio lab, dopo aver installato il minimo sindacale, di controllare la sua configurazione, ottimizzarla, sistamare quello che doveva sistemare e darmi un report. Poi sono andato a farmi un thè, sono tornato e aveva fatto: non è magia, è come deve funzionare. Ma ha fatto qualche cazzata dato che, giustamente, non è assolutamente intelligente ma è "generativo".

Il problema, ripeto, sta nel nome e nel concetto, l'AI è tutto tranne che intelligente, è come avere un collega con il QI di 200 ma assolutamente autistico e non-empatico, bisogna fare dei prompt ben specifici per sfruttarlo bene altrimenti va per la tangente e fa cazzate; invece i geni dell'AI hanno detto e continuano a dire è che l'AI è magia nera che gli chiedi cose e le fa. Non è assolutamente vero.

Ha potenzialità enormi, è vero, quello che può fare un modello da 7GB è assolutamente impressionante, e lo confermo, ma non è magia, sono algoritmi generativi e come tali vanno usati, ovvero come assistenti/agenti sotto stretto controllo. In quel caso fanno paura ed effettivamente aiutano soprattutto in locale dove i dati rimangono privati e non dati in pasto alla megacorp di turno.

Sono d'accordo con te. Conoscendo i limiti dell'AI, si riescono a fare cose eccezionali. Oggi il grosso limite sono i dati. Le aziende giustamente sono ne sono gelose, e dovrebbero esserlo anche i privati. Inoltre anche a implementare un AI locale, non hai la certezza che i dati riservati rimangano confinati a chi è autorizzato. C'è il rischio che informazioni riservate possano finire in mano a persone non autorizzate, pur rimanendo nel perimetro aziendale.

[bonzoxxx]

Concordo e confermo, per questo serve stretta supervisione.

[supertigrotto]

Io mi chiedo perché queste aziende non chiedono alla IA il modo di fare più soldi in modo da dare questi soldi alla IA e aumentare la spesa di volta in volta....
Sarcasmo

[bonzoxxx]

Originariamente inviato da supertigrotto

Io mi chiedo perché queste aziende non chiedono alla IA il modo di fare più soldi in modo da dare questi soldi alla IA e aumentare la spesa di volta in volta....
Sarcasmo

[Cfranco]

Originariamente inviato da supertigrotto

Io mi chiedo perché queste aziende non chiedono alla IA il modo di fare più soldi in modo da dare questi soldi alla IA e aumentare la spesa di volta in volta....
Sarcasmo

Te scherzi ma Krafton si è fatto consigliare dalla IA su come fare per evitare di tirar fuori i 250 milioni di bonus per Subnautica 2, ed è finita che in tribunale ha dovuto calare le braghe
In legge la IA ha fatto grossi disastri, non sembra proprio il suo campo