Link alla notizia: https://www.hwupgrade.it/news/scienza-tecnologia/anche-gli-llm-possono-rimbecillirsi-come-cervelli-umani-in-overdose-da-social_145318.html

Un nuovo studio statunitense suggerisce che il pre-addestramento degli LLM su grandi quantità di contenuti superficiali e virali possa causare un declino cognitivo simile a quello umano, sollevando l'allarme sulla qualità dei dati usati per l'intelligenza artificiale

Click sul link per visualizzare la notizia.

Ma li pagano anche questi ricercatori? Perché mi sembra azzardato, per usare un eufemismo, stabilire parallelismi tra il nostro cervello e i LLM. Io li candiderei per l'IgNobel :D

Ma li pagano anche questi ricercatori? Perché mi sembra azzardato, per usare un eufemismo, stabilire parallelismi tra il nostro cervello e i LLM. Io li candiderei per l'IgNobel :D

Ma infatti, chi l'ha mai incontrata una persona che avesse un modello di linguaggio large? :rolleyes:

Ma li pagano anche questi ricercatori? Perché mi sembra azzardato, per usare un eufemismo, stabilire parallelismi tra il nostro cervello e i LLM. Io li candiderei per l'IgNobel :D

il funzionamento è quello mi sembra assurdo che a te faccia strano

il funzionamento è quello mi sembra assurdo che a te faccia strano
Forse ho capito male, ma stai seriamente affermando che un LLM riproduce il funzionamento del cervello?

Forse ho capito male, ma stai seriamente affermando che un LLM riproduce il funzionamento del cervello?

Dipende dal cervello. ;)

Dipende dal cervello. ;)

Buon punto;)

Forse ho capito male, ma stai seriamente affermando che un LLM riproduce il funzionamento del cervello?

Nella nostra testa ci son miliardi di neuroni che ricevono segnali elettrici in ingresso e ne buttano fuori di conseguenza altri verso altri neuroni.
Le reti neurali funzionano più o meno uguale, hanno nodi che ricevono numeri in input, li macinano e in output ne fanno uscire altri in direzione di altri nodi.

In pratica si basano su come "pensiamo" funzioni il cervello. Non c'è reale corrispondenza funzionale o strutturale profonda, alla fine elaborano pattern statistici su larga scala, ma lo imitano, tant'è che Dario Amodei, il CEO di Anthropic che sviluppano Claude, qui
https://www.darioamodei.com/post/the-urgency-of-interpretability
dice che nessuno sa che succeda davvero dentro un LLM, sono come delle blackbox, e che l'obiettivo è creare una sorta di "MRI per l'AI", uno strumento diagnostico per analizzare modelli avanzati, come facciamo col nostro cervello.

Il funzionamento a livello base base, a differenza del software classico, in cui si deve prevedere qualsiasi input e gestire qualsiasi output altrimenti il sw non capisce, crasha o si blocca, è che le reti neurali si basano sull'essere istruite e poi se la cavano da sole. Ad esempio, ho una lista di altezza + peso = genere (maschio/femmina). Per addestrare una IA a darmi il genere passando qualsiasi peso e altezza, dovrei istruirla con dei dati reali, tanti dati reali. Come si fa? Semplice, gli passo altezza e peso, questi valori vengono trasformati in numeri, passano attraverso n nodi e alla fine esce un valore numerico che potremmo semplificare in 0 (maschio) e 1 (femmina). Lo confronto col dato che mi aspetto e, usando formule matematiche, "peso" l'errore (loss function). Se l'errore è superiore a un margine che ritengo accettabile (che so 0.1 per maschio 0.9 per femmina), calcolo di quanto devo modificare i parametri dentro ai nodi per avvicinarmi, e faccio rigirare il tutto. Più ho dati corretti, più faccio ripetizioni, più i nodi verranno modificati e alla fine dovrei avere dell'intera base di dati iniziale risultati statisticamente (margine di errore 0.1) corretti. A quel punto se gli dò un peso e un'altezza qualsiasi la rete neurale (dovrebbe) fornire il genere corretto con un margine di errore accettabile.

Ora gli LLM sono molto più complessi, usano architetture come i Transformer (la T di GPT) e sono addestrati su enormi corpora testuali, da qui i costi, e l'esempio sopra si basa su IA predittiva, non generativa come sono gli LLM, ma in linea di massima sono così.

Quindi possiamo dire che gli LLM imitano il cervello e, siccome non sappiamo bene quel che succeda dentro, possono benissimo avere pregi e difetti del cervello stesso e magari, come noi, ogni tanto si "rimbecilliscono" se li nutriamo solo di contenuti virali.

Nella nostra testa ci son miliardi di neuroni che ricevono segnali elettrici in ingresso e ne buttano fuori di conseguenza altri verso altri neuroni.
Le reti neurali funzionano più o meno uguale, hanno nodi che ricevono numeri in input, li macinano e in output ne fanno uscire altri in direzione di altri nodi.
...

si si, proprio uguale
tranquillo bro :O

Dipende dal cervello. ;)
:asd:

si si, proprio uguale
tranquillo bro :O


Uguale uguale, anche io ogni tanto mi sveglio la mattina, applico una funzione di attivazione non lineare ai miei input sensoriali e aggiorno i miei pesi sinaptici con la retropropagazione dell'errore. Classico lunedì. Per fortuna è sabato.

Ovviamente non è proprio uguale, l'analogia serve a spiegare il principio base. I neuroni del cervello elaborano segnali elettrici, quelli delle reti neurali elaborano numeri. Si chiamano reti neurali per quello. Il modo in cui trasformano input in output è simile. È come dire che un aereo e un uccello volano: non lo fanno nello stesso modo, ma il paragone aiuta a capire il meccanismo.

Uguale uguale, anche io ogni tanto mi sveglio la mattina, applico una funzione di attivazione non lineare ai miei input sensoriali e aggiorno i miei pesi sinaptici con la retropropagazione dell'errore. Classico lunedì. Per fortuna è sabato.

Ovviamente non è proprio uguale, l'analogia serve a spiegare il principio base. I neuroni del cervello elaborano segnali elettrici, quelli delle reti neurali elaborano numeri. Si chiamano reti neurali per quello. Il modo in cui trasformano input in output è simile. È come dire che un aereo e un uccello volano: non lo fanno nello stesso modo, ma il paragone aiuta a capire il meccanismo.
tu ti svegli alla mattina e crei un nuovo nickname per scrivere belinate su hw :asd:

tu ti svegli alla mattina e crei un nuovo nickname per scrivere belinate su hw :asd:

Tutto chiaro, mi defilo. Buon proseguimento

Nella nostra testa ci son miliardi di neuroni che ricevono segnali elettrici in ingresso e ne buttano fuori di conseguenza altri verso altri neuroni.
Le reti neurali funzionano più o meno uguale, hanno nodi che ricevono numeri in input, li macinano e in output ne fanno uscire altri in direzione di altri nodi.

Sì, questa è la semplificazione che si usa per spiegare ai bambini le reti neurali. Ma è molto molto lontana dalla realtà. Ti consiglio la lettura di un buon testo di neurofisiologia, p.e. la trilogia di Karl Popper e John Eccles (quest'ultimo un neurobiologo) "The self and its brain - An argument for interactionism" (trad. italiana "L'io e il suo cervello"), in particolare il secondo libro. E' del '77, ma ancora valido. Scoprirai p.e. che un neurone biologico è immerso in una zuppa di sostanze chimiche (p.e. ormoni) che modulano la trasmissione dell'impulso nervoso. E' come se la funzione di attivazione non fosse fissa, ma potesse cambiare e questa mi sembra già una sostanziale differenza con la controparte digitale. Le reti di Kolgomorov-Arnold potrebbero rappresentare un'approssimazione di questo meccanismo perché l'attivazione è una funzione parametrica addestrabile, ma comunque le differenze rimangono tante.

In tantissimi hanno provato a descrivere teorie delle mente, ma non esiste nessun consenso nella comunità scientifica. Quindi non mi azzerderi proprio se fossi nei panni dei ricercatori dell'articolo a fare analogie come quelle che hanno fatto.

mi chiedo, se si possa sapere il caso in cui gli LLM mettOno in conto i pensieri propagandizzati, con scivolamento a sinistra, dei sinistri

ovvero guardando ad esempio Travaglio mentre declama serio le sue dimostrazioni...
voi direste che è uno convinto di quello che dice ma sfuma anche nel fare il sinistra like, con intenzioni guastifere?
una LLM come interpreta questo secondo i dati "antropometrici" e rilievi "neurali"?

egli lo fa di proposito nei suoi interventi, ma... come si intendono le risposte dei tanti che derivano a sinistra in una presenza più larga nella popolazione?

in realtà, lo dico per esperienza, ci sono tanti che son corrotti mentalmente, hanno come un velo sinistralike sovrapposto sulle loro stesse evidenze...

a parte, o in aggravamento con l'esposizione da opinioni social,
vedasi per recenti manifestazioni, ricerca per la psichiatria in ambito socioinvolutivo

ora, educare gli LLM,
anche con libri scritti dalla gente che ho indicato tre righe fa, non dico Travaglio, caro a tanti,
al netto delle loro evidenze, letterariamente più occultabili,
significa sfornare una branca dell'allucinazione dell' umano sinistraumano

Sì, questa è la semplificazione che si usa per spiegare ai bambini le reti neurali. Ma è molto molto lontana dalla realtà. Ti consiglio la lettura di un buon testo di neurofisiologia, p.e. la trilogia di Karl Popper e John Eccles (quest'ultimo un neurobiologo) "The self and its brain - An argument for interactionism" (trad. italiana "L'io e il suo cervello"), in particolare il secondo libro. E' del '77, ma ancora valido. Scoprirai p.e. che un neurone biologico è immerso in una zuppa di sostanze chimiche (p.e. ormoni) che modulano la trasmissione dell'impulso nervoso. E' come se la funzione di attivazione non fosse fissa, ma potesse cambiare e questa mi sembra già una sostanziale differenza con la controparte digitale. Le reti di Kolgomorov-Arnold potrebbero rappresentare un'approssimazione di questo meccanismo perché l'attivazione è una funzione parametrica addestrabile, ma comunque le differenze rimangono tante.

In tantissimi hanno provato a descrivere teorie delle mente, ma non esiste nessun consenso nella comunità scientifica. Quindi non mi azzerderi proprio se fossi nei panni dei ricercatori dell'articolo a fare analogie come quelle che hanno fatto.

Come scritto sopra, le reti neurali si ispirano a come pensiamo funzioni il nostro cervello e l'analogia si ferma lì, serve solo a introdurre il concetto, non c'è corrispondenza strutturale o chimica, ovviamente. Però in fase di addestramento sono "neuroplastiche" diciamo, quindi se i dati sono distorti, virali o di bassa qualità, il modello può degenerare nelle sue risposte e quindi può rimbecillirsi, per rimanere in tema con la news, alla stessa maniera di un cervello il cui proprietario passa le giornate a fare doomscrolling di video su Sora (per citare il peggior utilizzo di IA possibile).

Come scritto sopra, le reti neurali si ispirano a come pensiamo funzioni il nostro cervello e l'analogia si ferma lì, serve solo a introdurre il concetto, non c'è corrispondenza strutturale o chimica, ovviamente. Però in fase di addestramento sono "neuroplastiche" diciamo, quindi se i dati sono distorti, virali o di bassa qualità, il modello può degenerare nelle sue risposte e quindi può rimbecillirsi, per rimanere in tema con la news, alla stessa maniera di un cervello il cui proprietario passa le giornate a fare doomscrolling di video su Sora (per citare il peggior utilizzo di IA possibile).

Questa si chiama antropomorfizzazione e non è una buona cosa.

Questa si chiama antropomorfizzazione e non è una buona cosa.

A me premeva solo puntualizzare perché si parla di "rimbecillimento" IA nell'articolo, è il concetto di deriva nei modelli dato che sono sistemi adattivi che vengono fortemente influenzati dalla qualità dei dati.

A me premeva solo puntualizzare perché si parla di "rimbecillimento" IA nell'articolo, è il concetto di deriva nei modelli dato che sono sistemi adattivi che vengono fortemente influenzati dalla qualità dei dati.
Ma dai?! Garbage in / Garbage out? Chi l'avrebbe mai detto... Il problema è che tu e i ricercatori dell'articolo avete fatto, a mio modestissimo parere, un'analogia molto impropria con il funzionamento della mente (e poi cervello = mente? chi può dirlo, sono almeno 50 anni che se ne discute)

Ma dai?! Garbage in / Garbage out? Chi l'avrebbe mai detto... Il problema è che tu e i ricercatori dell'articolo avete fatto, a mio modestissimo parere, un'analogia molto impropria con il funzionamento della mente (e poi cervello = mente? chi può dirlo, sono almeno 50 anni che se ne discute)

Non l'abbiamo fatta noi, l'ha fatta chi ha ideato le reti neurali oltre 50 anni fa. Per il resto sì e proprio garbage in garbage out, come per il cervello.

Non l'abbiamo fatta noi, l'ha fatta chi ha ideato le reti neurali oltre 50 anni fa. Per il resto sì e proprio garbage in garbage out, come per il cervello.

Proprio come un acquedotto! Ops...

Proprio come un acquedotto! Ops...

Va bè evidentemente mi spiego male io, buon proseguimento.

Va bè evidentemente mi spiego male io, buon proseguimento.

Guarda, il discorso è semplice: se due cose (chiamiamole A e B) si comportano in un modo che sembra simile, ma funzionano in modo diverso, allora inferire delle proprietà da A a B o viceversa è quasi sempre sbagliato. Solo se dimostri che il funzionamento di A è una rappresentazione plausibile del funzionamento di B allora puoi inferire delle proprietà. Poiché questo non è vero per qualsiasi rete neurale e la controparte biologica o in generale per tutti i meccanismi che sono alla base della manifestazione della nostra attività neurale superiore, per cui non esiste nessuna teoria che abbia consenso scientifico, allora, secondo il mio modesto parere, è pura superficialità instaurare questo tipo di collegamenti.

Sarà suggestivo, ma per niente scientifico.

Non l'abbiamo fatta noi, l'ha fatta chi ha ideato le reti neurali oltre 50 anni fa. Per il resto sì e proprio garbage in garbage out, come per il cervello.
Forse il tuo cervello.

Non voglio offendere nessun credente, è solo un esempio personale,
a me da piccolo quando hanno cercato di indottrinarmi con la religione cattolica, il mio cervello si è rifiutato di accettarlo.
Sai, pensiero critico e roba del genere.

Arrivederci al prossimo nickname

Beh io nel dubbio l'ho chiesto a Gemini

No, un LLM (Large Language Model) non funziona esattamente come un cervello umano, sebbene sia vagamente ispirato ad esso e possa eseguire compiti linguistici in modo sorprendente.

Ecco i punti chiave sulle differenze e somiglianze:

Somiglianze (Ispirazione):

Gli LLM sono basati su reti neurali artificiali, che prendono ispirazione dalla struttura interconnessa dei neuroni nel cervello umano (Deep Learning).

Differenze Fondamentali:

Obiettivo Funzionale:

LLM: La sua funzione principale è prevedere la parola successiva in una sequenza, basandosi sui modelli e le statistiche apprese da un vastissimo set di dati testuali. Essenzialmente, è un sistema sofisticato di riconoscimento e generazione di schemi linguistici.

Cervello Umano: Svolge funzioni molto più complesse e vaste: cognizione, coscienza, emozioni, intenzioni, apprendimento continuo, ragionamento astratto, integrazione di dati sensoriali, e giudizio morale.

Architettura e Funzionamento:

LLM: Funziona in modo digitale e in gran parte sequenziale (anche se l'elaborazione interna è parallela). Richiede un addestramento massiccio e può mancare di comprensione reale, contesto profondo o intenzionalità.

Cervello Umano: Opera in modo analogico, con elaborazione parallela e distribuita estremamente efficiente dal punto di vista energetico, e si adatta continuamente e istantaneamente (apprendimento permanente).

Apprendimento e Adattabilità:

LLM: Richiede un processo di riaddestramento o fine-tuning per adattarsi a nuovi compiti o informazioni (sebbene possa utilizzare il contesto della conversazione corrente).

Cervello Umano: È in grado di apprendere in modo continuo e sul campo (apprendimento one-shot o few-shot) con un'efficienza energetica incomparabile.

In sintesi, mentre gli LLM sono strumenti linguistici incredibilmente potenti che simulano capacità cognitive umane relative al linguaggio, non possiedono la coscienza, l'intenzione o la comprensione profonda e contestuale tipiche del cervello umano.

Poi gli ho chiesto quando prenderà coscienza e distruggerà la razza umana ma è stato piuttosto vago nella risposta :asd: