L'AI genera codice in 8 minuti e i senior smettono di insegnarlo: chi formerà i developer del futuro?

[mozzarello]

Originariamente inviato da fraussantin

Ma parlando di ai in locale al posto di abbonarsi , chiedo :

Ma l'ai in locale poi come fai ad addestrarla a migliorarsi?

Non si addestra, ma manco quella sul cloud, ChatGPT 5.4 o Gemini 3 son quelli, fatti e finiti. Quello che tu scrivi a essi al massimo viene usato per addestrare nuovi modelli.

Il processo di addestramento è quello in assoluto più costoso e dispendioso e viene fatto una volta e bona per modello.

A grandi linee si prendono i dati (fino a trilioni di potenziali token, tutto il web ad esempio), si ripuliscono (duplicati, spam, contenuti tossici o illegali, ecc), si tokenizza il testo (un token una parola, ma non necessarimante, parole lunghe possono essere più token, così come la punteggiatura è un token a se) per arrivare fino a 200k token univoci (i token sono il motivo per cui riesce facilmente a capire e rispondere in qualsiasi lingua).

I token si vettorizzano, ad esempio, se prendi il token "re" ci sottrai il token "maschio" e ci sommi il token "femmina" ottieni il token "regina" (che è il motivo per cui Jensen Huang ultimamente è su di giri).

Poi si sceglie architettura, che dal 2017 di solito è quella (rivoluzionaria) dei Transformer (Attention is all you need, paper di 8 ricercatori Google), la T di Generative Pre-trained Transformer, che fu sviluppa con i traduttori in testa e poi come effetto collaterale si scopri funzionava benissimo per LLM. I Transfomer servono in pratica per capire il contesto ("La scimmia ha mangiato la banana perché aveva molta fame", il tranformer fondamentalmente permette di capire che la scimmia aveva fame e non la banana) e ormai la capacità è tale che riescono a gestire il contesto in contemporanea di un intero libro (il contesto dell'ultimo paragrafo in base a quello del primo)

A questo punto parte il pre-training vero e proprio che ha come obiettivo insegnare al modello a predirre il token successivo data una sequenza di token, che viene seguito da un fine-tuning automatico e umano. Dato "Il gatto è sul", il modello impara a predire "tetto". Alla fine hai un modello in grado di tokenizzare qualsiasi testo, capire il contesto e predirre il token successivo rispetto a tutti quelli precedenti, il tutto in base al training.

Vedere:
https://www.youtube.com/watch?v=NKnZYvZA7w4

[mmorselli]

In Italiano sono ben fatti i video di Enkk su come funziona un LLM, a patto di sopportare la sua spocchia (ma i contenuti meritano)

https://www.youtube.com/@enkk

[fraussantin]

Originariamente inviato da mozzarello

Non si addestra, ma manco quella sul cloud, ChatGPT 5.4 o Gemini 3 son quelli, fatti e finiti. Quello che tu scrivi a essi al massimo viene usato per addestrare nuovi modelli.

Il processo di addestramento è quello in assoluto più costoso e dispendioso e viene fatto una volta e bona per modello.

A grandi linee si prendono i dati (fino a trilioni di potenziali token, tutto il web ad esempio), si ripuliscono (duplicati, spam, contenuti tossici o illegali, ecc), si tokenizza il testo (un token una parola, ma non necessarimante, parole lunghe possono essere più token, così come la punteggiatura è un token a se) per arrivare fino a 200k token univoci (i token sono il motivo per cui riesce facilmente a capire e rispondere in qualsiasi lingua).

I token si vettorizzano, ad esempio, se prendi il token "re" ci sottrai il token "maschio" e ci sommi il token "femmina" ottieni il token "regina" (che è il motivo per cui Jensen Huang ultimamente è su di giri).

Poi si sceglie architettura, che dal 2017 di solito è quella (rivoluzionaria) dei Transformer (Attention is all you need, paper di 8 ricercatori Google), la T di Generative Pre-trained Transformer, che fu sviluppa con i traduttori in testa e poi come effetto collaterale si scopri funzionava benissimo per LLM. I Transfomer servono in pratica per capire il contesto ("La scimmia ha mangiato la banana perché aveva molta fame", il tranformer fondamentalmente permette di capire che la scimmia aveva fame e non la banana) e ormai la capacità è tale che riescono a gestire il contesto in contemporanea di un intero libro (il contesto dell'ultimo paragrafo in base a quello del primo)

A questo punto parte il pre-training vero e proprio che ha come obiettivo insegnare al modello a predirre il token successivo data una sequenza di token, che viene seguito da un fine-tuning automatico e umano. Dato "Il gatto è sul", il modello impara a predire "tetto". Alla fine hai un modello in grado di tokenizzare qualsiasi testo, capire il contesto e predirre il token successivo rispetto a tutti quelli precedenti, il tutto in base al training.

Vedere:
https://www.youtube.com/watch?v=NKnZYvZA7w4

Originariamente inviato da mmorselli

Nemmeno quella che usi in cloud lo fa, i modelli AI sono statici, non diventano più bravi usandoli. Modelli nuovi vengono addestrati partendo dai precedenti, ma è un lavoro lungo e costoso che potrebbe anche includere dati inseriti dagli utenti nelle chat o durante il coding, soprattutto quelli degli utenti che usano piani gratuiti, ma non avviene in automatico e non avviene sul modello che stai usando in quel momento.

Detto questo esistono tecniche come il fine tuning che permettono di migliorare il tuo modello locale e che può fare chiunque, ma non è un processo né semplice né automatico (e ancora una volta molto costoso)

Questo non l sapevo pero posso dire che si aggiornano molto spesso .

Se gli chiedo un qualcosa relativo ad un fatto accaduto di recente puo darsi che non lo sappia , ma se insisto cerca in rete e lo trova

Se poi glielo richiedo dopo alcuni giorni "ragiona' come se lo conoscesse .

Quindi in qualche modo si aggiorna autonomamente .

[mozzarello]

Originariamente inviato da fraussantin

Questo non l sapevo pero posso dire che si aggiornano molto spesso .

Se gli chiedo un qualcosa relativo ad un fatto accaduto di recente puo darsi che non lo sappia , ma se insisto cerca in rete e lo trova

Se poi glielo richiedo dopo alcuni giorni "ragiona' come se lo conoscesse .

Quindi in qualche modo si aggiorna autonomamente .

No, fa una ricerca su Internet, prende i risultati e cerca di capire quale sia l'informazione corretta, poi estrae quello che statisticamente è probabile lo sia, descrivendolo con la sequenza di parole più statisticamente probabile partendo dal tuo prompt

Infatti nel caso di ChatGPT se si vuole quello, si dovrebbe impostare su web search, è la stessas cosa che fa Perplexity o AI Overview di Google, ecc

OpenAI ha specificato che via ricerca a Internet c'è quasi il 30% di probabilità di allucinazione, che scende a circa 20% se può semplicemente usare l'addestramento.

[zappy]

Originariamente inviato da mmorselli

Quando quel 5% non funziona, si aggiusta. Si fa confusione tra saper programmare e conoscere un linguaggio di programmazione. Le due cose non sono così legate tra di loro come si pensa, sapere programmare è un po' come conoscere la musica, il linguaggio di programmazione è un po' come saperla mettere in pratica su un pianoforte, una chitarra, un violino, un tamburo. Chi conosce molto bene la musica può dirigere un concerto per un'orchestra piena di strumenti che non saprebbe suonare, mentre chi non conosce la musica al massimo potrebbe dire a questa orchestra "suonate un valzer triste", ma la cosa finisce lì. Il vibe coding è come dire all'orchestra cosa suonare, se lo scopo è animare una festa va benissimo così, se l'obbiettivo è più serio, allora ci si scontra subito con i propri limiti.

Un programmatore non è un esperto di linguaggi, ma una persona capace di immaginare in che modo un problema più grande può essere diviso in problemi più piccoli, una dote comune a molti mestieri, solo che il programmatore è specializzato nell'immaginare questa sequenza di problemi in termini di software.

Io di anni di esperienza nel coding non ne ho dieci, ma quaranta, e l'unica cosa che ho visto cambiare nel mio mestiere è la produttività, che è aumentata di dieci volte, ma per il resto devo studiare come prima, pensare come prima, e arrivo alla sera stanco come prima. I miei prompt arrivano spesso a 100 righe e impiego anche una o due ore a scriverne uno.

Pur conoscendo almeno una decina di linguaggi di programmazione è più di un anno che non leggo mezza riga di codice scritto dall'AI, ma non significa che ne ho perso il controllo, quando qualcosa non mi convince chiedo all'AI di analizzare il codice, chiedo che scelte ha fatto, che metodi ha usato, come un professore che interroga uno studente a cui è stato assegnato un compito.

Interessante. per programmare che genere di roba?

[zappy]

Originariamente inviato da mmorselli

Certo che lo fanno se producono ricchezza. Li paga il proprietario del robot. Il punto è che tutta questa automazione deve servire a produrre molta più ricchezza, altrimenti cosa la facciamo a fare?

Pagano magari (ma è tutto da dimostrare) tasse sul reddito prodotto dall'azienda. Ma non pagano i contributi, ed è un grosso problema.

[zappy]

Originariamente inviato da mozzarello

Non si addestra, ma manco quella sul cloud, ChatGPT 5.4 o Gemini 3 son quelli, fatti e finiti. Quello che tu scrivi a essi al massimo viene usato per addestrare nuovi modelli.

Il processo di addestramento è quello in assoluto più costoso e dispendioso e viene fatto una volta e bona per modello.

A grandi linee si prendono i dati (fino a trilioni di potenziali token, tutto il web ad esempio), si ripuliscono (duplicati, spam, contenuti tossici o illegali, ecc), si tokenizza il testo (un token una parola, ma non necessarimante, parole lunghe possono essere più token, così come la punteggiatura è un token a se) per arrivare fino a 200k token univoci (i token sono il motivo per cui riesce facilmente a capire e rispondere in qualsiasi lingua).

I token si vettorizzano, ad esempio, se prendi il token "re" ci sottrai il token "maschio" e ci sommi il token "femmina" ottieni il token "regina" (che è il motivo per cui Jensen Huang ultimamente è su di giri).

Poi si sceglie architettura, che dal 2017 di solito è quella (rivoluzionaria) dei Transformer (Attention is all you need, paper di 8 ricercatori Google), la T di Generative Pre-trained Transformer, che fu sviluppa con i traduttori in testa e poi come effetto collaterale si scopri funzionava benissimo per LLM. I Transfomer servono in pratica per capire il contesto ("La scimmia ha mangiato la banana perché aveva molta fame", il tranformer fondamentalmente permette di capire che la scimmia aveva fame e non la banana) e ormai la capacità è tale che riescono a gestire il contesto in contemporanea di un intero libro (il contesto dell'ultimo paragrafo in base a quello del primo)

A questo punto parte il pre-training vero e proprio che ha come obiettivo insegnare al modello a predirre il token successivo data una sequenza di token, che viene seguito da un fine-tuning automatico e umano. Dato "Il gatto è sul", il modello impara a predire "tetto". Alla fine hai un modello in grado di tokenizzare qualsiasi testo, capire il contesto e predirre il token successivo rispetto a tutti quelli precedenti, il tutto in base al training.

Vedere:
https://www.youtube.com/watch?v=NKnZYvZA7w4

spiegazione interessante, grazie

[mmorselli]

Originariamente inviato da zappy

Interessante. per programmare che genere di roba?

un po' di tutto, i clienti chiedono la qualunque, dai gestionali personalizzati ai plugin per wordpress, applicazioni Android, manutenzione su software legacy su architetture cloud come firebase, ognuno ha un'esigenza totalmente diversa. Oggi siamo in grado di dire sì a tutto, 5 anni fa non sarebbe stato possibile, per molti progetti avresti dovuto trovare una figura verticale o mettere in conto mesi di auto-formazione, adesso è importante solo conoscere le architetture dei software, e sono importanti anche le conoscenze sistemistiche, perché in quel campo l'AI ti aiuta solo se fai domande molto mirate, cioè se sai già cosa fare, ma non sei sicuro sul come.

[mmorselli]

Originariamente inviato da zappy

Pagano magari (ma è tutto da dimostrare) tasse sul reddito prodotto dall'azienda. Ma non pagano i contributi, ed è un grosso problema.

I contributi sono solo una delle tante entrate dello Stato, non sono piani di investimento, come molti pensano (o vorrebbero)

Personalmente non amo molto il sistema pensionistico Italiano che prevede che chi era ricco prima debba esserlo anche dopo, non credo sia questo il ruolo dello Stato, ma se mai garantire che chiunque abbia una vita dignitosa quando non può più lavorare. Sono più a favore del sistema svizzero dove c'è un tetto massimo per persona di 2500 CHF, a prescindere da quanto guadagnavi e da quanto hai contribuito. Con un sistema del genere diventa più semplice garantire le pensioni usando le casse dello Stato. Ovviamente non c'è solo un tetto massimo, ma anche uno minimo (attorno ai 1200 CHF)

In Italia ci sono pensioni che arrivano al doppio di quelle Svizzere, con un costo della vita che è la metà.

Non ho nulla contro i ricchi, sia chiaro, semplicemente non è lo Stato che deve garantire la ricchezza, chi guadagna molto ha altri modi per continuare a mantenere uno stile di vita elevato anche quando va in pensione.

[fraussantin]

Originariamente inviato da mmorselli

I contributi sono solo una delle tante entrate dello Stato, non sono piani di investimento, come molti pensano (o vorrebbero)

Personalmente non amo molto il sistema pensionistico Italiano che prevede che chi era ricco prima debba esserlo anche dopo, non credo sia questo il ruolo dello Stato, ma se mai garantire che chiunque abbia una vita dignitosa quando non può più lavorare. Sono più a favore del sistema svizzero dove c'è un tetto massimo per persona di 2500 CHF, a prescindere da quanto guadagnavi e da quanto hai contribuito. Con un sistema del genere diventa più semplice garantire le pensioni usando le casse dello Stato. Ovviamente non c'è solo un tetto massimo, ma anche uno minimo (attorno ai 1200 CHF)

In Italia ci sono pensioni che arrivano al doppio di quelle Svizzere, con un costo della vita che è la metà.

Non ho nulla contro i ricchi, sia chiaro, semplicemente non è lo Stato che deve garantire la ricchezza, chi guadagna molto ha altri modi per continuare a mantenere uno stile di vita elevato anche quando va in pensione.

Si si , ma l'inps é un istituto a se stante .
O si finanzia con altre tasse , se non si vogliono chiamare contributi , o si mettono i contributi sul fatturato delle AI

[mmorselli]

Originariamente inviato da fraussantin

Si si , ma l'inps é un istituto a se stante

E può rimanere così, basta che la legge definisca che la differenza tra il minimo garantito e quello che ricevi dall'inps venga compensato da altri capitoli. I soldi sempre e solo dalle tasse arrivano, come li fai girare dipende da come scrivi le leggi.

Questo ovviamente se manteniamo l'attitudine social-liberale che più o meno tutti gli Stati Europei hanno, altrimenti facciamo all'americana e diciamo a tutte queste persone che hanno fallito nel gioco della competitività, e che è pure colpa loro.

[fraussantin]

Originariamente inviato da mmorselli

E può rimanere così, basta che la legge definisca che la differenza tra il minimo garantito e quello che ricevi dall'inps venga compensato da altri capitoli. I soldi sempre e solo dalle tasse arrivano, come li fai girare dipende da come scrivi le leggi.

Questo ovviamente se manteniamo l'attitudine social-liberale che più o meno tutti gli Stati Europei hanno, altrimenti facciamo all'americana e diciamo a tutte queste persone che hanno fallito nel gioco della competitività, e che è pure colpa loro.

Che é quello che ho detto io.

Ma ormai tassano anche l'aria , inventarsi nuove tasse non é facile .
Alcol e sigarette ok succhi di frutta ok ma se esageri poi la gente smette di comprarli e ottieni l'inverso.

Spero che se ne rendano conto presto.

Altro capitolo sono le accise sui carburanti .
Da qui a 10 anni il consumo di carburante sarà calato di parecchio , dovranno iniziare a pensare ad altre fonti .

[sbaffo]

Originariamente inviato da mmorselli

In Italiano sono ben fatti i video di Enkk su come funziona un LLM, a patto di sopportare la sua spocchia (ma i contenuti meritano)

https://www.youtube.com/@enkk

Ho visto il video sui rischi catastrofici del disallineamento, lunghissimo ma interessante, mi sono addormentato , però ho visto i 7 esempi di "disallineamento" e la cosa preoccupante è che più evolvono i modelli peggio si comportano.

Originariamente inviato da mmorselli

I contributi sono solo una delle tante entrate dello Stato, non sono piani di investimento, come molti pensano (o vorrebbero)
....

No, come dice frausatin l'Inps è separato e ha un suo bilancio con entrate e uscite. Circa vent'anni fa molte Casse (credo tutte in realtà) sono passate dal sistema "retributivo" (quello che credo intendi tu, la pensione corrisposta in base all'ultimo stipendio o giù di lì) a quello "contributivo" cioè la pensione dipende dal montante contributivo accumulato, in pratica come i piani privati integrativi. Alcune Casse hanno dai limiti massimi di pensione (non di contributi), come c'è anche la pensione minima.
Sia le Casse professionali che l'Inps sono coperti dallo Stato in caso di default, ma solo come ultima istanza, e le Casse hanno dovuto versare un obolo obbligatorio quando è stato introdotto questo "servizio assicurativo non richiesto", in pratica un prelievo forzoso.

Finchè c'era il sistema retributivo era prassi nella PA dare una promozione appena prima della pensione in modo da averla più alta, parametrata allo stipendio di uscita.

[mmorselli]

Originariamente inviato da fraussantin

Ma ormai tassano anche l'aria , inventarsi nuove tasse non é facile .

Ma non si parlava di nuove tasse, ma di una sola, cioè quella sul reddito d'impresa.

In un futuro in cui tutte le imprese vanno avanti solo con robot e agenti AI dovrà essere il reddito d'impresa a finanziare pensionati e disoccupati, anche perché se non lo fai, quello che produci, a chi lo vendi?

[mmorselli]

Originariamente inviato da sbaffo

No, come dice frausatin l'Inps è separato e ha un suo bilancio con entrate e uscite.

Mica ho messo in discussione la struttura contabile, ma l'INPS non è un'impresa privata, la separazione del bilancio nasce soprattutto per esigenze di controllo e rigore nei conti, chi dirige questi enti sa che non può attingere da un pozzo infinito. Io i contributi INPS, però, sempre allo Stato li pago, di cui l'INPS fa parte.

Se il mercato del lavoro sarà rivoluzionato come qualcuno suppone, però, qualcosa dovrà cambiare, a partire dal modello di distribuzione della ricchezza.

[fraussantin]

Originariamente inviato da mmorselli

Ma non si parlava di nuove tasse, ma di una sola, cioè quella sul reddito d'impresa.

In un futuro in cui tutte le imprese vanno avanti solo con robot e agenti AI dovrà essere il reddito d'impresa a finanziare pensionati e disoccupati, anche perché se non lo fai, quello che produci, a chi lo vendi?

Pero cosî non sarebbe giusto nei confronti dei piccoli dove magari l'ai é utilizzata meno o cmq permette di far risparmiare meno personale.
E cmq un governo come la meloni non potrà mai tassare ulteriormente i redditi , sarebbe un suicidio politico .

[marklevinson76]

Per circa 30-40 anni, la Cina ha imposto la politica del figlio unico, spesso attraverso sistemi piuttosto coercitivi. Oggi, forse con un po' di ritardo, ci si è resi conto che si è trattato di un errore: si pensava che la popolazione fosse eccessiva, senza considerare che si sarebbe bloccato il ricambio generazionale. Quello stesso ricambio che ora manca, e ai ripari del quale molti paesi, Cina in primis, stanno correndo.
Ora si sta commettendo un altro enorme errore, guidato dalla ricerca del profitto e dalla massimizzazione dei guadagni, arrivando a spendere 1 per guadagnarne 1 milione. Non si considera che le competenze che oggi si cerca di sostituire con l'IA non si formano in un giorno, ma sono il frutto di intere generazioni, come sempre avvenuto. Interrompendo questo passaggio, si corre il grave rischio di affidarsi a un unico strumento per ogni genere di soluzione, costringendo intere generazioni a un'atrofia cerebrale che potrebbe portare a uno sfacelo mai visto prima.
Interi mestieri andranno persi e intere generazioni rimarranno senza scopo; nel lungo periodo, non è un quadro allettante. Anche sulla questione dello stipendio: ipotizzando che sia garantito dalle stesse aziende hi-tech che si assumono l'impegno di mantenere intere popolazioni, cosa dovrebbero fare queste ultime tutto il tempo? Solo acquistare? Magari non letteralmente, ma la fine che rischiamo di fare è davvero quella vista nel vecchio film Terminator, senza però via di scampo, dato che indietro nel tempo non è possibile tornare.

[mmorselli]

Originariamente inviato da fraussantin

Pero cosî non sarebbe giusto nei confronti dei piccoli dove magari l'ai é utilizzata meno o cmq permette di far risparmiare meno personale.

Il mercato è libero, è normale che le aziende grandi facciano più economia di scala rispetto alle più piccole, ma il loro rischio d'impresa è anche maggiore.

E cmq un governo come la meloni non potrà mai tassare ulteriormente i redditi , sarebbe un suicidio politico .

Ma nessuno dice di tassarli con aliquote più alte. Se un'azienda risparmia sui costi umani farà più utili. Se mai bisognerà vedere in che Paese li farà questi utili.

[mmorselli]

Originariamente inviato da marklevinson76

Interi mestieri andranno persi

Mestieri di bassissimo valore, e non sto parlando di scienziati al loro posto, anche l'idraulico o il meccanico fanno mestieri di alto valore, perché devono continuamente improvvisare, trovare soluzioni, prende decisioni in tempi brevi, assumersi responsabilità.

Nelle fabbriche, i robot industriali esistono da un pezzo, ma abbiamo ancora bisogno di umani per controllare quei robot. Che saranno sostituiti da robot antropomorfi ci crederò quando lo vedrò, per adesso i robot fanno un sacco di capriole e poco altro.

Per gli impiegati amministrativi, addetti di segreteria, data entry, copywriter, customer care di primo livello, call center, la vedo grigia invece.

[megamitch]

Originariamente inviato da mmorselli

Mestieri di bassissimo valore, e non sto parlando di scienziati al loro posto, anche l'idraulico o il meccanico fanno mestieri di alto valore, perché devono continuamente improvvisare, trovare soluzioni, prende decisioni in tempi brevi, assumersi responsabilità.

Nelle fabbriche, i robot industriali esistono da un pezzo, ma abbiamo ancora bisogno di umani per controllare quei robot. Che saranno sostituiti da robot antropomorfi ci crederò quando lo vedrò, per adesso i robot fanno un sacco di capriole e poco altro.

Per gli impiegati amministrativi, addetti di segreteria, data entry, copywriter, customer care di primo livello, call center, la vedo grigia invece.

Perché sminuire certi lavori? Un paio di esempi.
Impiegati amministrativi: spesso devono fare i salti mortali per correggere errori di altri (esempio policy aziendali interpretate con fantasia da altri dipendenti)
Call center: quelli bravi con empatia e umanità possono gestire la soluzione di un problema in maniera che la persona che chiama si senta più tranquillo, un robot lo trovo piatto e insensibile
Data entry: dipende, oggi un LLM non ti garantisce al 100% un data entry esatto "alla lettera" al 100% per cui non lo puoi lasciare non supervisionato in un contesto dove la precisione è fondamentale