Intelligenza Artificiale, i modelli sono sempre più grandi e i dati di training stanno finendo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...do_125880.html

Internet non è un posto così grande per soddisfare la fame di informazioni dei modelli di intelligenza artificiale: al vaglio alcune strade alternative

Click sul link per visualizzare la notizia.

[alexfri]

Potebbe essere anche la naturale evoluzione dell'uomo, scoprire cosa sia l'anima che rende un essere umano senziente, farne un dump e inserirlo in una macchina per superare la forma biologica (sempre che si possa scindere la forma biologica dall'anima) tanto prima o poi dovremmo andarcene di qua prima che il sole ci annienti, e i viaggi spaziali potrebbero durare millenni (la nostra forma attuale non permetterebbe di sopravviverea tali viaggi)

[DevilsAdvocate]

I dati addestrano il modello linguistico, ma non la capacità di ragionamento. Una volta che questa capacità sarà stata aggiunta gli stessi input forniti all'IA in inferenza saranno distillati in nuovi dati... la via per le AGI è questa.

[demon77]

Originariamente inviato da alexfri

Potebbe essere anche la naturale evoluzione dell'uomo, scoprire cosa sia l'anima che rende un essere umano senziente, farne un dump e inserirlo in una macchina per superare la forma biologica (sempre che si possa scindere la forma biologica dall'anima) tanto prima o poi dovremmo andarcene di qua prima che il sole ci annienti, e i viaggi spaziali potrebbero durare millenni (la nostra forma attuale non permetterebbe di sopravviverea tali viaggi)

L'ANIMA è solo un concetto inventato che di fatto non ha riscontro nel mondo reale.
Fino a prova contraria (che in millenni di storia ed evoluzione ancora non è visibile neanche in lontanaza) siamo nulla più che macchinari su base biologica evoluti a sufficienza per essere autocoscienti.
Può apparire svilente e riduttivo ma questo è quanto.. un po' come quando guardi "all'immensità del pianeta Terra" salvo poi prendere atto che è un corpo così insignificantemente microscopico nella totalità dell'universo da contare meno di un granello di sabbia nel Sahara.

Quindi a livello teorico il DUMP della coscienza di un individuo da supporto biologico a supporto digitale sarebbe pure applicabile.. il limite è giuisto quello tecnico.. per usare un eufemismo.

Ma anche se per assurdo esistesse oggi una interfaccia in grado di copiare il "software di te stesso" da te biologico ad un corpo artificiale ci sarebbe un "problemino"...
Non è che si parla di spostare il tuo cervello dentro un corpo diverso.. si parla di copiare i "DATI DI TE STESSO" in un altro supporto che diverrebbe in quell'istante un clone perfetto della tua coscienza che prenderebbe a fare la sua vita.. ma tu biologico continueresti ad essere tu..
Non è che si possono spostare i dati come fossero una cosa fisica.

Anche quando sul PC fai "SPOSTA" da un disco ad un altro i dati vengono prima copiati sul nuovo supporto e poi cancellati sul supporto originario.
Come dire che prima ti copiano sul nuovo corpo meccanico e poi ti sparano.. gli altri continueranno a vederti e parlare "CON TE" ma in realtà staranno parlando con un tuo clone che comunque non sei tu. Tu sei morto.

[UtenteHD]

Originariamente inviato da DevilsAdvocate

I dati addestrano il modello linguistico, ma non la capacità di ragionamento. Una volta che questa capacità sarà stata aggiunta gli stessi input forniti all'IA in inferenza saranno distillati in nuovi dati... la via per le AGI è questa.

A grandi linee pensavo in auto qualcosa del genere, cio' che e' intelligente cambia e si adatta che siano Persone o IA, mi viene in mente l'IA che una volta sbagliando mi ha detto "tutto cio' che e' intelligente sbaglia, che siano persone o IA".
Per chi parla di evoluzione, beh alcuni Scienziati (o altro di non specificato) hanno ipotizzato che l'evoluzione sia essere superati (e poi boh preghiamo) dalle macchine in tutto.

[Notturnia]

Originariamente inviato da UtenteHD

A grandi linee pensavo in auto qualcosa del genere, cio' che e' intelligente cambia e si adatta che siano Persone o IA, mi viene in mente l'IA che una volta sbagliando mi ha detto "tutto cio' che e' intelligente sbaglia, che siano persone o IA".
Per chi parla di evoluzione, beh alcuni Scienziati (o altro di non specificato) hanno ipotizzato che l'evoluzione sia essere superati (e poi boh preghiamo) dalle macchine in tutto.

Se vedi nel forum è quello che molti auspicano a prenscindere dal fatto che questo porti alla loro morte per cui …

A me fa strano pensare di essere in via d’estinzione e di aver “partecipato” alla creazione di chi ci sostituirà visto che non è evoluzione di umani in “super umani” ma estinzione per via della nascita di qualcosa di più adatto

[io78bis]

Non ho capito il problema se hai dato in input tutto lo scibile umano che altro vuoi?

La nuova conoscenza si genererà tra il confronto tra l'uomo e la AI che permetterà all'uomo grazie alla capacità AI di aggregazione di analizzare i problemi meglio.

Caspita sono stati così veloci a fare i modelli IA che ormai hanno finito il loro lavoro

Edit
Capito hanno esaurito le fonti gratis e/o consultabili con web scraping. Beh allora basta iniziare a pagare invece che fare il sanguisuga sul lavoro degli altri

[s12a]

Altamente dubbio che siano realmente esauriti i dati linguistici da utilizzare nel training, almeno per gli LLM attualmente in uso o previsti; in ogni caso ci sono studi e sistemi, ad esempio da parte di Meta (V-JEPA), con l'obiettivo di ricavare in maniera efficiente a partire da video dati di training utili per aiutare le reti neurali a costruirsi un solido "modello" della realtà:

https://ai.meta.com/blog/v-jepa-yann...-architecture/

[giuliop]

Originariamente inviato da demon77

L'ANIMA è solo un concetto inventato che di fatto non ha riscontro nel mondo reale.
Fino a prova contraria (che in millenni di storia ed evoluzione ancora non è visibile neanche in lontanaza) siamo nulla più che macchinari su base biologica evoluti a sufficienza per essere autocoscienti.
Può apparire svilente e riduttivo ma questo è quanto.. un po' come quando guardi "all'immensità del pianeta Terra" salvo poi prendere atto che è un corpo così insignificantemente microscopico nella totalità dell'universo da contare meno di un granello di sabbia nel Sahara.

Quindi a livello teorico il DUMP della coscienza di un individuo da supporto biologico a supporto digitale sarebbe pure applicabile.. il limite è giuisto quello tecnico.. per usare un eufemismo.

Sono certamente d'accordo con la prima frase in grassetto, ma che questa garantisca la conclusione della seconda è discutibile: potrebbe benissimo essere che, anche dando per buono che la natura sia fondamentalmente meccanicistica/materialistica, l'emergenza della coscienza sia prerogativa esclusiva degli organismi biologici.

Originariamente inviato da demon77

Ma anche se per assurdo esistesse oggi una interfaccia in grado di copiare il "software di te stesso" da te biologico ad un corpo artificiale ci sarebbe un "problemino"...
Non è che si parla di spostare il tuo cervello dentro un corpo diverso.. si parla di copiare i "DATI DI TE STESSO" in un altro supporto che diverrebbe in quell'istante un clone perfetto della tua coscienza che prenderebbe a fare la sua vita.. ma tu biologico continueresti ad essere tu..
Non è che si possono spostare i dati come fossero una cosa fisica.

Anche quando sul PC fai "SPOSTA" da un disco ad un altro i dati vengono prima copiati sul nuovo supporto e poi cancellati sul supporto originario.
Come dire che prima ti copiano sul nuovo corpo meccanico e poi ti sparano.. gli altri continueranno a vederti e parlare "CON TE" ma in realtà staranno parlando con un tuo clone che comunque non sei tu. Tu sei morto.

Già, anche nel teletrasporto di Star Trek è chiaro che i dati vengono copiati: c'è almeno un episodio in cui un persona (Riker) si "sdoppia", uno rimane bloccato (l'"originale"?) ma dall'altra parte ne arriva un altro, il che fa pensare che quello che succede è che, una volta riprodotta la persona a destinazione, l'originale venga distrutto.
Capire però se "tu sei [effettivamente] morto" solleva una serie di problemi sul concetto di identità, come quello (classico) della "nave di Teseo": fino a quando una nave rimane la stessa, man mano che sostituisci pezzi per ripararla? E se prendi tutti i pezzi che hai sostituito e fai un'altra nave, quale delle due è quella "vera"?
In questo caso potresti dire che tu sei morto perché, nonostante la tua coscienza sia preservata, il tuo organismo non è più lo stesso, ma con lo stesso ragionamento potresti dire che in realtà muori costantemente con il continuo [ri]cambio dell'organismo, che avviene dalla nascita alla morte: cosa rimane esattamente di un neonato in un novantenne?
Insomma, hai stuzzicato un nido di vespe

[zappy]

addestreremo le IA con le scemenze di YT e wikipedia (se già non l'hanno fatto)...
cosa potrebbe mai andare male?

[GianMi]

...garbage out. Modelli molto più piccoli di ChatGPT ottengono in molti benchmark risultati migliori perché sono stati addestrati con dati migliori. E' il caso p.e. del recentissimo DBRX.

E' tra l'altro lo stesso problema che hanno i RAG (Retrieval Augmented Generation) basati sui LLM, che, se implementati in modo semplicistico dandogli in pasto i documenti senza pre e post elaborazione, restituiscono risultati scadenti.

Quindi, come spesso succede, più che la quantità conta la qualità.

[Notturnia]

Originariamente inviato da giuliop

Sono certamente d'accordo con la prima frase in grassetto, ma che questa garantisca la conclusione della seconda è discutibile: potrebbe benissimo essere che, anche dando per buono che la natura sia fondamentalmente meccanicistica/materialistica, l'emergenza della coscienza sia prerogativa esclusiva degli organismi biologici.



Già, anche nel teletrasporto di Star Trek è chiaro che i dati vengono copiati: c'è almeno un episodio in cui un persona (Riker) si "sdoppia", uno rimane bloccato (l'"originale"?) ma dall'altra parte ne arriva un altro, il che fa pensare che quello che succede è che, una volta riprodotta la persona a destinazione, l'originale venga distrutto.
Capire però se "tu sei [effettivamente] morto" solleva una serie di problemi sul concetto di identità, come quello (classico) della "nave di Teseo": fino a quando una nave rimane la stessa, man mano che sostituisci pezzi per ripararla? E se prendi tutti i pezzi che hai sostituito e fai un'altra nave, quale delle due è quella "vera"?
In questo caso potresti dire che tu sei morto perché, nonostante la tua coscienza sia preservata, il tuo organismo non è più lo stesso, ma con lo stesso ragionamento potresti dire che in realtà muori costantemente con il continuo [ri]cambio dell'organismo, che avviene dalla nascita alla morte: cosa rimane esattamente di un neonato in un novantenne?
Insomma, hai stuzzicato un nido di vespe

È tutta la vita che ci penso e la prima volta che ho visto il teletrasporto ho detto WOW.. ma poi ho pensato anche io la stessa cosa.. quello “di la” sono ancora io o è una mia copia ?
O le porte di Asimov etc.. e mi è venuto il dubbio perchè geneticamente siamo identici e anche i ricordi sono gli stessi ma è quasi come due gemelli che dovessero vivere assieme per 30 anni .. se muore uno l’altro sa tutto ma restano due entità diverse..
Ma se si potesse fare il trapianto di cervello di nuovo la persona che riceve la testa è per il 5% il vecchio se e il 95% il nuovo corpo ma “l’anima” la consideriamo nel cervello e quindi tutto bene.. e se domani si potesse aiutare il cervello con nanobot a non invecchiare ? Fra 200 anni sarei ancora io o sarei la copia di me stesso perchè via via sono stato rimpiazzato da nanobot e sono morto senza accorgermene ?

Brutta la questione dell’anima e dell’io.. problema che dubito abbia una IA.. basta copiarla per averne due uguali e anche fossero auto coscienti non hanno il problema della morte potendosi spostare sui supporti non avendo concettualmente un corpo a cui sono vincolate..

Boh.. saranno problemi loro.. noi purtroppo.. abbiamo la data di scadenza

[pachainti]

Originariamente inviato da GianMi

...garbage out. Modelli molto più piccoli di ChatGPT ottengono in molti benchmark risultati migliori perché sono stati addestrati con dati migliori. E' il caso p.e. del recentissimo DBRX.

E' tra l'altro lo stesso problema che hanno i RAG (Retrieval Augmented Generation) basati sui LLM, che, se implementati in modo semplicistico dandogli in pasto i documenti senza pre e post elaborazione, restituiscono risultati scadenti.

Quindi, come spesso succede, più che la quantità conta la qualità.

Esatto, quasi tutti non considerano che avere più dati a disposizione non significa avere più informazione, dipende dalla loro qualità.
Secondo Taleb il 90% dei dati è rumore, il 9% sono informazioni già note e solo 1% è nuova informazione. The Noise Bottleneck

[Piedone1113]

Originariamente inviato da demon77

L'ANIMA è solo un concetto inventato che di fatto non ha riscontro nel mondo reale.
Fino a prova contraria (che in millenni di storia ed evoluzione ancora non è visibile neanche in lontanaza) siamo nulla più che macchinari su base biologica evoluti a sufficienza per essere autocoscienti.
Può apparire svilente e riduttivo ma questo è quanto.. un po' come quando guardi "all'immensità del pianeta Terra" salvo poi prendere atto che è un corpo così insignificantemente microscopico nella totalità dell'universo da contare meno di un granello di sabbia nel Sahara.

Quindi a livello teorico il DUMP della coscienza di un individuo da supporto biologico a supporto digitale sarebbe pure applicabile.. il limite è giuisto quello tecnico.. per usare un eufemismo.

Ma anche se per assurdo esistesse oggi una interfaccia in grado di copiare il "software di te stesso" da te biologico ad un corpo artificiale ci sarebbe un "problemino"...
Non è che si parla di spostare il tuo cervello dentro un corpo diverso.. si parla di copiare i "DATI DI TE STESSO" in un altro supporto che diverrebbe in quell'istante un clone perfetto della tua coscienza che prenderebbe a fare la sua vita.. ma tu biologico continueresti ad essere tu..
Non è che si possono spostare i dati come fossero una cosa fisica.

Anche quando sul PC fai "SPOSTA" da un disco ad un altro i dati vengono prima copiati sul nuovo supporto e poi cancellati sul supporto originario.
Come dire che prima ti copiano sul nuovo corpo meccanico e poi ti sparano.. gli altri continueranno a vederti e parlare "CON TE" ma in realtà staranno parlando con un tuo clone che comunque non sei tu. Tu sei morto.

I tuoi sono tipici errori da ateo pseudo scientifico.
Dire che l'anima non esiste senza specificare che cosa si intenda per essa è una scorciatoia priva di arrivo.
Il meglio poi è credere che l'io umano sia replicabile meccanicamente o in funzione logica ignorando bellabente che l'uomo non è un essere finito e impenetrabile, ma un continuo mutamento sia fisico che cognitivo, in grado non solo di adattarsi al mondo esterno ( inteso come input ricevuti) ma anche a riadattarsi alle molteplici modifiche celebrali ( e non solo) arrivando a riprogrammare in modo spesso autonomo percorsi logici del cervello.
Nessuna IA sarà mai capace di replicare un essere umano senza scomodare l'anima a prescindere se questa sia immortale o meno.

[sbaffo]

Originariamente inviato da zappy

addestreremo le IA con le scemenze di YT (se già non l'hanno fatto)...
cosa potrebbe mai andare male?

Già mi immagino l'IA che impara da youtuber e influencer , ci risponderà con un bel "sì chef"

ma invece che usare minchiate per l'addestramento, gli hanno già dato in pasto tutta la letteratura mondiale disponibile già digitalizzata? ah, già, per quella bisogna pagare...
ma se hanno finito le risorse per addestrarle, dandole in pasto già tutto lo scibile umano, i progressi d'ora in poi saranno minimi, significa che le ia sono quasi al loro limite? d'ora in poi solo rifiniture? e sono ancora così scadenti... mah, mi sa che l'entusiasmo/bolla non durerà a lungo. Un po' come il self driving, è da dieci anni che arriva l'anno prossimo, e poi invece è diventato "assisted"

[demon77]

Originariamente inviato da Piedone1113

I tuoi sono tipici errori da ateo pseudo scientifico.
Dire che l'anima non esiste senza specificare che cosa si intenda per essa è una scorciatoia priva di arrivo.
Il meglio poi è credere che l'io umano sia replicabile meccanicamente o in funzione logica ignorando bellabente che l'uomo non è un essere finito e impenetrabile, ma un continuo mutamento sia fisico che cognitivo, in grado non solo di adattarsi al mondo esterno ( inteso come input ricevuti) ma anche a riadattarsi alle molteplici modifiche celebrali ( e non solo) arrivando a riprogrammare in modo spesso autonomo percorsi logici del cervello.
Nessuna IA sarà mai capace di replicare un essere umano senza scomodare l'anima a prescindere se questa sia immortale o meno.

vabbeh. Curioso di sapre cosa intendi tu per "anima" allora.

Per il resto il fatto che siamo in continuo mutamento non è rilevante ai fini della discussione.
Di fatto il nostro cervello (il resto del corpo è irrilevante) è un mix di SOC e memoria a vari livelli in un unico componente biologico. Funziona con impulsi elettrici ed è influenzato anche da recettori chimici.
Senza dubbio qualcosa di estremamente complesso ma nulla che un domani non possa essere replicato fedelmente in ambiente virtuale.

[demon77]

Originariamente inviato da giuliop

potrebbe benissimo essere che, anche dando per buono che la natura sia fondamentalmente meccanicistica/materialistica, l'emergenza della coscienza sia prerogativa esclusiva degli organismi biologici.

Si.. potrebbe.
Ma non vedo ragioni per cui dovrebbe essere così.
La coscienza deriva dal fatto che il nonsto processore biologico si è evoluto abbastanza da elaborare concetti astratti... e da lì tutta la baracca di pensieri e sentimenti che caratterizzano l'umanità.
Per dire, un topo ha sempre lo stesso processore biologico ma non evoluto a livello tale da superare determinati limiti di pensiero.
Su questa base una ipotetica persona artificiale dotata di cevello sintetico che funuziona allo stesso livello del nostro sarebbe in grado di sviluppare una autocoscienza ed una personalità propria esattamente come facciamo noi.

Il fatto, lo si vede anche da alcuni commenti qui dentro, è che molti sono ancora legati al concetto arcaico che vede l'uomo come inarrivabile ed inimitabile essere supremo.. una visione romantica e di giorno in giorno sempre più traballante ed improbabile.
La scienza in continuo sviluppo ci mostra ormai da tempo che questa è nulla più di una bella favola.. e probabilmete sarà davvero la IA a mostrarci tutti i nostri limiti mettendoci davanti al fatto compiuto di non essere nulla di speciale.

Originariamente inviato da giuliop

Già, anche nel teletrasporto di Star Trek è chiaro che i dati vengono copiati: c'è almeno un episodio in cui un persona (Riker) si "sdoppia", uno rimane bloccato (l'"originale"?) ma dall'altra parte ne arriva un altro, il che fa pensare che quello che succede è che, una volta riprodotta la persona a destinazione, l'originale venga distrutto.
Capire però se "tu sei [effettivamente] morto" solleva una serie di problemi sul concetto di identità, come quello (classico) della "nave di Teseo": fino a quando una nave rimane la stessa, man mano che sostituisci pezzi per ripararla? E se prendi tutti i pezzi che hai sostituito e fai un'altra nave, quale delle due è quella "vera"?
In questo caso potresti dire che tu sei morto perché, nonostante la tua coscienza sia preservata, il tuo organismo non è più lo stesso, ma con lo stesso ragionamento potresti dire che in realtà muori costantemente con il continuo [ri]cambio dell'organismo, che avviene dalla nascita alla morte: cosa rimane esattamente di un neonato in un novantenne?
Insomma, hai stuzzicato un nido di vespe

Ma guarda, senza scomodare la nave di Teseo o il teletrasporto, il mio concetto è molto più terra terra e riguarda solo l'idea ipotetica di "RIVERSARE" la propria coscienza dentro un altro corpo e/o contenitore: non si pò fare.
Se io ti copio in un altro corpo ci sarà un momento in cui tu ed il tuo clone perfetto vi guarderete in faccia.
Poi lui (il clone) sarà te come se nulla fosse accaduto, io parlando col tuo clone non mi accorgerò di nulla e nemmeno il tuo clone.. ma TU originale sarai sempre lì.. non è che resta un corpo vuoto. E direi che questo è tutto quello che c'è da dire penso.

[Piedone1113]

Originariamente inviato da demon77

vabbeh. Curioso di sapre cosa intendi tu per "anima" allora.

Per il resto il fatto che siamo in continuo mutamento non è rilevante ai fini della discussione.
Di fatto il nostro cervello (il resto del corpo è irrilevante) è un mix di SOC e memoria a vari livelli in un unico componente biologico. Funziona con impulsi elettrici ed è influenzato anche da recettori chimici.
Senza dubbio qualcosa di estremamente complesso ma nulla che un domani non possa essere replicato fedelmente in ambiente virtuale.

Ancora non ci siamo:
i collegamenti sinaptici sono in continuo mutamento in un corpo in modo totalmente casuale.
Il nostro sistema nervoso centrale è continuamente riassembleto e non si può affatto riprodurre la casualità degli eventi esterni-interni che portano a ciò.
Tralasciando poi tutto questo mi spieghi come riprodurre l'affezione, il colpo di fulmine, il senso del bello e tutti gli altri sentimenti che sono del tutto casuali e che possono essere indotti da molteplici fattori quali determinati aromi dell'aria, dalla propria temperatura corporea, dal grado di stress ( difficile solo questa da riprodurre), dalla quantitò di luce percepita ecc, che impongono condizioni con effetti diversi, e talvolta opposti nelle persone?

[io78bis]

Incredibile come si sia arrivati al punto di pensare che si possibile replicare la natura umana in modo artificiale.

Nulla di ciò che creerà Uomo potrà mai essere uguale a quello che produce la Natura/Caos al massimo può arrivare ad una copia quasi perfetta

[chichino84]

Originariamente inviato da demon77

Di fatto il nostro cervello (il resto del corpo è irrilevante) è un mix di SOC e memoria a vari livelli in un unico componente biologico. Funziona con impulsi elettrici ed è influenzato anche da recettori chimici.
Senza dubbio qualcosa di estremamente complesso ma nulla che un domani non possa essere replicato fedelmente in ambiente virtuale.

Uno dei 756433 motivi per il quale in nostro sistema nervoso è "così com'è" (e in particolare quello centrale - più ancora in particolare la corteccia) è proprio perchè si è potuto sviluppare in relazione al nostro corpo e nel nostro ambiente.
Circa la replicabilità però sono sempre stato possibilista anche io, il problema è che manca il substrato materiale giusto su cui applicare nuove teorie. Secondo me, quando (se) i cosi quantistici inizieranno a girare per bene potremmo essere sulla strada giusta