L'IA costa sempre di più: AWS aumenta il prezzo per riservare risorse di calcolo a chi fa fine tuning di modelli

[Redazione di Hardware Upg]

Link alla notizia: https://edge9.hwupgrade.it/news/ia-b...li_155697.html

Il servizio Blocchi di capacità Amazon EC2 per ML permette di riservare risorse di calcolo sui server di AWS: il prezzo è aumentato del 20%. Si tratta del secondo aumento nel 2026. Il primo, di circa il 15%, è stato a gennaio

Click sul link per visualizzare la notizia.

[euscar]

Naturale che si vada in questa direzione ... prima te la fanno provare a gratis, poi quando cominci a diventarne dipendente te la fanno pagare

[supertigrotto]

Originariamente inviato da euscar

Naturale che si vada in questa direzione ... prima te la fanno provare a gratis, poi quando cominci a diventarne dipendente te la fanno pagare

Io lo avevo detto e stradetto,usano la tecnica degli spacciatori.
Il prossimo passo è renderla obbligatoria,se è vero che vogliono trasformare gli smartphone in oggetti senza un vero sistema operativo e app,con IA limitata e funzioni decenti solo con la connessione al datacenter IA,il cerchio si chiuderà e giù a pagare abbonamenti.....

[mmorselli]

Originariamente inviato da euscar

Naturale che si vada in questa direzione ... prima te la fanno provare a gratis, poi quando cominci a diventarne dipendente te la fanno pagare

Quelli che la provano gratis sono gli utenti non professionali, servono a creare hype attorno al prodotto, ma non sono un target. Le aziende che la usano seriamente per lavoro hanno sempre pagato, chi più chi meno.

Il fine tuning dei modelli comunque non ha nulla a che vedere con quello che il 99,9% delle persone e delle aziende fanno con l'AI, cioè l'inferenza.

[Notturnia]

Originariamente inviato da supertigrotto

Io lo avevo detto e stradetto,usano la tecnica degli spacciatori.
Il prossimo passo è renderla obbligatoria,se è vero che vogliono trasformare gli smartphone in oggetti senza un vero sistema operativo e app,con IA limitata e funzioni decenti solo con la connessione al datacenter IA,il cerchio si chiuderà e giù a pagare abbonamenti.....

a parte poche persone che ancora non vedono il problema ormai anche esperti ed istituzioni hanno capito che c'è un grosso problema per tutti noi con le IA..

qualche giorno fa c'era un articolo su ANSA che parlava dell'eccessiva dipendenza da IA e dei pericoli ad essi connessi.. ci eravamo arrivati anni fa anche noi ma adesso se ne accorgono (quasi) tutti

[mmorselli]

Originariamente inviato da Notturnia

qualche giorno fa c'era un articolo su ANSA che parlava dell'eccessiva dipendenza da IA e dei pericoli ad essi connessi.. ci eravamo arrivati anni fa anche noi ma adesso se ne accorgono (quasi) tutti

E quindi che fai? Hai smesso di usarla?

Cosa ti fa pensare che anche gli altri non si pongano gli stessi problemi valutando di volta in volta le soluzioni più praticabili?

La tecnologia è tutta un trade-off, pensare di essere gli unici svegli sulla piazza di solito rivela l'opposto.

[Notturnia]

Originariamente inviato da mmorselli

E quindi che fai? Hai smesso di usarla?

Cosa ti fa pensare che anche gli altri non si pongano gli stessi problemi valutando di volta in volta le soluzioni più praticabili?

La tecnologia è tutta un trade-off, pensare di essere gli unici svegli sulla piazza di solito rivela l'opposto.

la sfrutto finche posso.. ma questo non è che sia piacevole perchè fa capire quanto più precario di prima sia il nostro sistema europeo e quando sarà facile in futuro farci chiudere

soluzioni più praticabili ?.. svendere alla Cina e diventare una loro colonia immagino.. ma a parte questo (che già l'UE sta facendo) non ne vedo altre visto che il treno lo abbiamo perso 40 anni fa..

[Unrue]

Originariamente inviato da mmorselli

Quelli che la provano gratis sono gli utenti non professionali, servono a creare hype attorno al prodotto, ma non sono un target. Le aziende che la usano seriamente per lavoro hanno sempre pagato, chi più chi meno.

Il fine tuning dei modelli comunque non ha nulla a che vedere con quello che il 99,9% delle persone e delle aziende fanno con l'AI, cioè l'inferenza.

In realtà anche molte aziende fanno fine tuning, altrimenti i modelli generici col cavolo che li integri in workflow specifici.

[mmorselli]

Originariamente inviato da Unrue

In realtà anche molte aziende fanno fine tuning, altrimenti i modelli generici col cavolo che li integri in workflow specifici.

Basta definire quante sono "molte". Il fine tuning è costosissimo e non porta il modello a ciò che interessa la maggioranza delle aziende, cioè la conoscenza documentale. Per questa cosa la maggioranza delle aziende fa una RAG, che è molto più leggera e molto più precisa quando si tratta di rispondere a domande sulla conoscenza interna, tipo "quanti contratti citavano il cemento nel 2025?". Eventualmente anche un continued pre-training se lavori in un ambito molto specifico con una terminologia che i modelli già addestrati non conoscono bene, ma probabilmente ha senso se stai usando un modello locale piccolo, perché un modello di frontiera è difficile che abbia un ambito che non conosce, però è possibile, dato che il continued pre-training non richiede quantomeno un grande sforzo umano, solo computazionale.

Il fine tuning invece è "roba da ricchi", richiede tante risorse, tante persone dedicate, tanto tempo per farlo, e se i tuoi documenti intanto crescono nel tempo diventa assolutamente ingestibile.

[Unrue]

Originariamente inviato da mmorselli

Basta definire quante sono "molte". Il fine tuning è costosissimo e non porta il modello a ciò che interessa la maggioranza delle aziende, cioè la conoscenza documentale. Per questa cosa la maggioranza delle aziende fa una RAG, che è molto più leggera e molto più precisa quando si tratta di rispondere a domande sulla conoscenza interna, tipo "quanti contratti citavano il cemento nel 2025?". Eventualmente anche un continued pre-training se lavori in un ambito molto specifico con una terminologia che i modelli già addestrati non conoscono bene, ma probabilmente ha senso se stai usando un modello locale piccolo, perché un modello di frontiera è difficile che abbia un ambito che non conosce, però è possibile, dato che il continued pre-training non richiede quantomeno un grande sforzo umano, solo computazionale.

Il fine tuning invece è "roba da ricchi", richiede tante risorse, tante persone dedicate, tanto tempo per farlo, e se i tuoi documenti intanto crescono nel tempo diventa assolutamente ingestibile.

Ma non è vero, ci sono strumenti tipo Llora in cui addestri il 3% dei parametri di una rete e hai risultati ottimi in molti casi. E poi anche la RAG non è che la fai a razzo di cane eh, devi averne di conoscenze anche lì per implementarla in un workflow aziendale serio, non è che butti roba dentro a caso.