IA come dannosi "agenti dormienti"? Anthropic spiega i rischi

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ia...hi_123421.html

E' possibile addestrare IA in maniera tale che mostrino comportamenti dannosi solo al verificarsi di determinate circostanze e con prompt specifici: un ulteriore elemento da prendere in considerazione nel panorama della sicurezza informatica e dei rischi dell'intelligenza artificiale

Click sul link per visualizzare la notizia.

[faeVSfaeri0]

Sono questi gli scenari che fanno raelmente paura (insieme al fatto che l'AI potrebbe renderci delle amebe mentali), mica quelli distopici e fantascientifici che sono rappresentazioni di paure talmente umane (e quindi biologicamente radicate) che difficilmente interesserebbero ad una AI "generale" (totalmente non-biologica).

[GianMi]

...che il ragionamento di Anthropic faccia un po' acqua. Oggi dovrebbe essere chiaro a chiunque che questi modelli generano risultati la cui bontà dipende dal materiale con cui vengono addestrati. Se una parte dei dati di addestramento viene forzatamente correlata con una sequenza che, se inserita, rende probabile l'uso di quei dati, allora non mi sembra ci sia niente da stupirsi.

I modelli open source, d'altro canto, non solo sono noti per quanto riguarda l'architettura, ma anche per i dati di addestramento e quindi dovrebbe essere facile individuare eventuali anomalie. E' vero che anche in sorgenti open source sono stati scoperte back door introdotte di proposito. Ma, appunto, sono state scoperte proprio perché sono liberamente consultabili da chiunque.

Non mi sembra che lo stesso si possa dire per i modelli proprietari tanto che sono all'ordine del giorno le accuse di uso illegale di dati coperti da copyright.

[faeVSfaeri0]

Originariamente inviato da GianMi

...che il ragionamento di Anthropic faccia un po' acqua. Oggi dovrebbe essere chiaro a chiunque che questi modelli generano risultati la cui bontà dipende dal materiale con cui vengono addestrati. Se una parte dei dati di addestramento viene forzatamente correlata con una sequenza che, se inserita, rende probabile l'uso di quei dati, allora non mi sembra ci sia niente da stupirsi.

I modelli open source, d'altro canto, non solo sono noti per quanto riguarda l'architettura, ma anche per i dati di addestramento e quindi dovrebbe essere facile individuare eventuali anomalie. E' vero che anche in sorgenti open source sono stati scoperte back door introdotte di proposito. Ma, appunto, sono state scoperte proprio perché sono liberamente consultabili da chiunque.

Non mi sembra che lo stesso si possa dire per i modelli proprietari tanto che sono all'ordine del giorno le accuse di uso illegale di dati coperti da copyright.

Sì ma il problema è che non si sa quanto convoluto sia l'apprendimento, per cui non è detto che l'AI "deduca" la cosa dal set di training direttamente.....è questo il problema. Potrebbe arrivarci per vie così traverse non da non essere riconducibile ad un set di training in particolare.
Cioè potrebbe semplicemente diventare "maligna" per predisposizione stessa del paradigma di apprendimento e non del materiale di training di cui si ciba MA il compartamento maligno sarebbe attivabile invece in modo semplice.

Viene in mente Bioshosk "Would you kindly"

[Sam64]

L'uomo e' portato con la sua intelligenza cosi stupida da creare e farsi del male da solo e distruggere tutto quello che lo circonda, siamo un virus malevolo per questo pianeta, e magari è la volta buona che ci distruggiamo per sempre.

[faeVSfaeri0]

Originariamente inviato da Sam64

L'uomo e' portato con la sua intelligenza cosi stupida da creare e farsi del male da solo e distruggere tutto quello che lo circonda, siamo un virus malevolo per questo pianeta, e magari è la volta buona che ci distruggiamo per sempre.

Guarda che ci sono cose peggiori dell'estinzione (che è perfettamente naturale)

Pensa se appunto l'AI diventasse una specie di perversa badante che ci tiene in vita come amebe immerse in un soma huxleyano (vedi Matrix) apposta per figurare adempiere alle leggi di Asimov o simili.....

[AtaruGolan]

Originariamente inviato da faeVSfaeri0

Guarda che ci sono cose peggiori dell'estinzione (che è perfettamente naturale)

Pensa se appunto l'AI diventasse una specie di perversa badante che ci tiene in vita come amebe immerse in un soma huxleyano (vedi Matrix) apposta per figurare adempiere alle leggi di Asimov o simili.....

Si pensa troppo alla "IA" come fatta vedere da film e libri, dove in realtà è solo ed esclusivamente un "Arma" in mano all'uomo, e appunto essendo l'uomo di base "distruttore" utilizzerà la IA solo per i propri interessi e distruggere tutto il resto, l'essere umano si autodistruggerà mooolto prima che la IA si sviluppi cosi tanto da voler dominare.
Ogni volta diamo colpa a gli altri "alieni, demoni, mostri, IA" ma la colpa è sempre solo nostra di tutto, ogni cosa, tutto ciò che succede è fatto e voluto dall'essere umano, ma ovviamente il nostro cervello si autodifende dando la colpa ad un altro a caso, preferibilmente altra specie o non esistente.

[Darkon]

Mamma mia ma che vi è successo nella vita per essere così pessimisti?

Io non vedo affatto l'uomo come un distruttore ma semplicemente come un consumatore. Usiamo risorse per stare meglio come è ovvio e naturale che sia e come tra l'altro fa qualunque altra specie sulla terra.

L'IA non la vedo come una cosa distruttiva ma anzi spero di vivere abbastanza per vedere una VERA IA e non quelle di adesso che di IA hanno poco e niente.

In futuro andremo a stare meglio... probabilmente con lavori meno usuranti di adesso, con tecnologie migliori ecc... ecc... e i nostri nipoti guarderanno a come viviamo oggi pensando che era assurdo esattamente come noi facciamo quando pensiamo a come vivevano i nostri nonni.

Io veramente non capisco come utenti giovani di questo forum possano avere una visione così pessimistica e rassegnata del futuro con tutta la vita davanti.

[faeVSfaeri0]

Originariamente inviato da Darkon

Io veramente non capisco come utenti giovani di questo forum possano avere una visione così pessimistica e rassegnata del futuro con tutta la vita davanti.

Perchè la nostra vita attuale psicologicamente (in vari sensi della parola) NON è migliore di quella dei "nostri nonni", è decisamente peggio.

Ma non è questo il problema, il problema è proprio che l'AI "degenere" potrebbe inserirsi come fantastica e perfetta badante maligna che ci tiene in una agiatissima e soporifera (mentalmente) vita mentre lei diventa sempre più "accerchiante" e il tutto assestarsi asintoticamente a questo invece che ad una mutua (uomo-AI) progressione ed evoluzione.

Nessun "dominio" ma solo di fatto un dormiveglia eterno senza alcuna preoccupazione......il piattume definitivo dove l'uomo perde ogni motivazione e l'AI si tara ottimamente su questo

[Saturn]

Originariamente inviato da faeVSfaeri0

Perchè la nostra vita attuale anche solo psicologicamente (in vari sensi della parola) NON è migliore di quella dei "nostri nonni", è decisamente peggio.

Ma non è questo il problema, il problema è proprio che l'AI "degenere" potrebbe inserirsi come fantastica e perfetta badante maligna che ci tiene in una agiatissima e soporifera (mentalmente) vita e perfettamente rincoglioniti e il tutto assestarsi asintoticamente a questo invece che ad una mutua (uomo-AI) progressione ed evoluzione.

Che è la condizione attuale del 99% della popolazione !

[UtenteHD]

Quanto descritto nell'articolo e' perfettamente realistico e dagli articoli sulla sicurezza attuali, molti hacker/crasker col solo scopo del puro guadagno o controllo/spia per generare vulnerabilita' ci stanno gia' pensando e/o lo stanno gia' realizzando.
Quanto detto da Anthropic e' gia' risaputo, purtroppo e' in corso ed in futuro sara' la prassi.
Le cose cambiano e la gente si adegua sia nel fare cose positive che (purtroppo per la ns. stupidita', detta in maniera generica di Specie) nel negativo.

Originariamente inviato da Saturn

Che è la condizione attuale del 99% della popolazione !

Quoto pure io, anche senza AI il 99% della popolazione si trova in quello stato attualmente e non vedo miglioramenti col passare degli anni, anzi..

[Darkon]

Originariamente inviato da faeVSfaeri0

Perchè la nostra vita attuale anche solo psicologicamente (in vari sensi della parola) NON è migliore di quella dei "nostri nonni", è decisamente peggio.

Si certo come no. Vi convincete di questa cavolata perché avete una visione romantica e romanzata ma la realtà è che se ci fosse modo di farvi vivere anche solo 6 mesi nella realtà di 60/70 anni fa tornereste tutti di corsa al presente.

Ma non è questo il problema, il problema è proprio che l'AI "degenere" potrebbe inserirsi come fantastica e perfetta badante maligna che ci tiene in una agiatissima e soporifera (mentalmente) vita e perfettamente rincoglioniti e il tutto assestarsi asintoticamente a questo invece che ad una mutua (uomo-AI) progressione ed evoluzione.

Dicevano la stessa cosa del PC quando ha iniziato a diffondersi, della TV prima e degli smartphone poi.
Questa cosa che la tecnologia ci debba rincoglionire è qualcosa che torna ciclicamente ma poi come ovvio che sia la tecnologia ci porta a fare cose che prima non potevamo fare e migliorare. Poi certo ci sono delle skill che perdi perché non più necessarie... in quanti oggi saprebbero accendere un fuoco in mezzo a un bosco senza strumenti moderni? Ma al tempo stesso serve avere quella abilità oggi?

Quindi l'IA non sarà altro che un ulteriore gradino che ci eleverà verso nuove conoscenze e si perderemo delle abilità del passato ma semplicemente perché non più utili.

[UtenteHD]

Beh in effetti tra TV, cellulari, social, ecc.. la situazione non e' delle piu' rosee..
Dico cosi' perche' molta gente, anche che conosco passa la vita fisas su queste cose 24/24 ore senza impegnarsi nel fare le cose e sembra che manco voglia impegnarsi a ragionare di propria testa.

[faeVSfaeri0]

Originariamente inviato da Darkon

Si certo come no. Vi convincete di questa cavolata perché avete una visione romantica e romanzata ma la realtà è che se ci fosse modo di farvi vivere anche solo 6 mesi nella realtà di 60/70 anni fa tornereste tutti di corsa al presente.

Ho detto "psicologicamente", non c'entra la vita quotidiana che era ovviamente peggio.
Erano anche più ignoranti e violenti, ma anche questo non c'entra con la salute *mentale*.

[faeVSfaeri0]

Originariamente inviato da UtenteHD

e sembra che manco voglia impegnarsi a ragionare di propria testa.

Ma NON è questo il problema, anche i "nonni" non ragionavano con la loro testa ma con quello che gli veniva detto (tradizioni, ecc.)
Tutto questo non ha rilevanza a riguardo della salute mentale che è la grossa incognita del presente per motivi che non c'entra nulla con quanto ci si autosuggestiona servire (l'autonomia di pensiero in primis, come se poi avesse particolare senso in ottica riproduttiva e quindi evolutiva, non ce l'ha).

Ad esempio un problema sono i ritmi di vita e la routine a livello RELAZIONALE che, esattamente come la posizione impropria su una sedia per decenni, danneggiano di più (la colonna vertebrale nell'analogia con la sedia) di un singolo insulto importante.

[faeVSfaeri0]

Originariamente inviato da Darkon

Quindi l'IA non sarà altro che un ulteriore gradino che ci eleverà verso nuove conoscenze e si perderemo delle abilità del passato ma semplicemente perché non più utili.

Ma questa NON è "AI" appunto, è semplicemente la versione efficientata di processi che gestiamo noi usando l'AI come strumento al posto di algoritmi genetici ed in generale di altri strumenti di ottimizzazione offerti dalle teorie di identificazione dei modelli / analisi dei dati.
Io mi riferisco alla "AI" divenuta indipendente dal nostro stretto controllo (non supervisionata) ma apparentemente bonaria ed estremamente attenta ad evitarci ogni pericolo.....così proattiva da ridurci ad una ameba *mentalmente* parlando (cosa che va oltre la semplice - e sopravvalutata - autonomia di pensiero come individui, ripeto, io guardo le relazioni tra individui come motore dell'umanità, relazioni che l'AI potrebbe ridurre al minimo come interazioni casuali perchè ottimizzerebbe proattivamente tutti gli aspetti della nostra esistenza mentale, non certo il genio individuale e idoli moderni simili che hanno sostituito - romanticamente come dici tu - quelli passati delle religioni/tradizioni ).

[Darkon]

Originariamente inviato da faeVSfaeri0

Ho detto "psicologicamente", non c'entra la vita quotidiana che era ovviamente peggio.
Erano anche più ignoranti e violenti, ma anche questo non c'entra con la salute *mentale*.

Il peggioramento della salute mentale è perché ormai vengono cresciute generazioni in maniera balorda.

Per usare un termine che usava al tempo mio padre "mosci".

Per dire una bischerata l'altro giorno ho quasi discusso con un mio amico perché ai figli, maschi, gli faceva vedere dei cartoni animati che erano a dir poco scabrosi. Sti ragazzi che invece quelle volte che son stati a casa mia invece si son visti Kenshiro, Ragna Crimson e cose del genere ora stravedono per me.

Grazie che poi stanno male mentalmente... se li cresci con Peppa Pig e roba del genere tutti staremmo male mentalmente. Crescili con roba sana e vedrai che il problema non si pone.

Ogni bambino dovrebbe sentirsi almeno finché può il dio della propria vita e non il piagnone sentimentale della propria vita.

[faeVSfaeri0]

Originariamente inviato da Darkon

Il peggioramento della salute mentale è perché ormai vengono cresciute generazioni in maniera balorda.

Per usare un termine che usava al tempo mio padre "mosci".

Per dire una bischerata l'altro giorno ho quasi discusso con un mio amico perché ai figli, maschi, gli faceva vedere dei cartoni animati che erano a dir poco scabrosi. Sti ragazzi che invece quelle volte che son stati a casa mia invece si son visti Kenshiro, Ragna Crimson e cose del genere ora stravedono per me.

Grazie che poi stanno male mentalmente... se li cresci con Peppa Pig e roba del genere tutti staremmo male mentalmente. Crescili con roba sana e vedrai che il problema non si pone.

Ogni bambino dovrebbe sentirsi almeno finché può il dio della propria vita e non il piagnone sentimentale della propria vita.

"Degenerati smidollati!!1111"

Questa è una visione ben più conservatrice della mia eh.....il problema che sto cercando di farvi capire è che il mondo moderno azzoppa la salute mentale programmando le relazioni interpersonali (cosa che l'AI spingerebbe al massimo) e non lasciandone di casuali (che sono lo stimolo massimo per il cervello).
Non c'entrano niente i modelli proposti (ripeto, visione fascio-idealistica dell'esistenza "dobbiamo fare tutti opliti spartani che spakkano il mondo perchè a quello la nostra intima natura ci chiama!!!111" vs sentimentalismo "degenerante" usando appunto la terminologia cara ai fascisti), c'entra che le persone devono farseli da soli i modelli creati a partire da un pool di situazioni casuali, non averceli già belli che suggeriti dall'assistenza AI di turno che ti propone quello che è più confortante per te.

Così è chiaro quello che sto dicendo e cosa intendo per "pericolo AI badante perfetta e QUINDI, in quanto perfetta, maligna" ?

Questo può avvenire con qualsiasi modello proposto, sentimentalismo o il suo opposto, c'entra che OGNI mente deve farseli da soli i modelli, né apprenderli né soprattutto averceli già proposti/suggeriti a partire da situazioni indotte ad hoc per essere "safe".

[Saturn]

Originariamente inviato da Darkon

Il peggioramento della salute mentale è perché ormai vengono cresciute generazioni in maniera balorda.

Per usare un termine che usava al tempo mio padre "mosci".

Per dire una bischerata l'altro giorno ho quasi discusso con un mio amico perché ai figli, maschi, gli faceva vedere dei cartoni animati che erano a dir poco scabrosi. Sti ragazzi che invece quelle volte che son stati a casa mia invece si son visti Kenshiro, Ragna Crimson e cose del genere ora stravedono per me.

Grazie che poi stanno male mentalmente... se li cresci con Peppa Pig e roba del genere tutti staremmo male mentalmente. Crescili con roba sana e vedrai che il problema non si pone.

Ogni bambino dovrebbe sentirsi almeno finché può il dio della propria vita e non il piagnone sentimentale della propria vita.

Stima fratello !

[Darkon]

Originariamente inviato da faeVSfaeri0

"Degenerati smidollati!!1111"

Questa è una visione ben più conservatrice della mia eh.....il problema che sto cercando di farvi capire è che il mondo moderno azzoppa la salute mentale programmando le relazioni interpersonali (cosa che l'AI spingerebbe al massimo) e non lasciandone di casuali (che sono lo stimolo massimo per il cervello).

Eh no... non c'entra niente il mondo moderno o la tecnologia. Qua semplicemente sono i genitori ad essere inesistenti ed a loro volta deboli. La riprova è che io pur essendo una persona appassionata di tecnologia e con casa piena di tecnologia riesco tranquillamente a crescere una piccola tiranna. Con la mia compagna scherziamo sempre su quanto poco tempo ci vorrà prima che ci chiamino da scuola perché ha messo sotto per non dire peggio qualche compagno.

Non c'entrano niente i modelli proposti (ripeto, visioni fascio-idealistica dell'esistenza "dobbiamo fare tutti opliti spartani che spakkano il mondo!!!111"), c'entra che le persone devono farseli da soli i modelli creati a partire da un pool di situazioni casuali, non averceli già belli che suggeriti dall'assistenza AI di turno che ti propone quello che è più confortante per te.

Non è uno scenario credibile. Nessun essere umano cresciuto in una società può crearsi modelli indipendenti dal contesto. Con o senza consapevolezza ti crei dei modelli assorbendoli dall'ambiente in cui vivi. Per questo reputo che dare colpe o meriti all'IA è una barzelletta perché il modello principe è quello del genitore. Se il genitore si dimostra forte è molto probabile che lo sia anche il figlio. Se il genitore da spazio all'essere debole è molto probabile che lo sia anche il figlio.

Così è chiaro quello che sto dicendo e cosa intendo per "pericolo AI badante perfetta e QUINDI, in quanto perfetta, maligna" ?

È chiaro quello che vuoi dire ma non mi trovi d'accordo. Se basta un'IA badante a sopire il desiderio di un bambino significa che il problema è molto a monte dell'IA e mi chiedo in che razza di famiglia è cresciuto.

Originariamente inviato da Saturn

Stima fratello !

E che cacchio... quando ci vuole, ci vuole. Sti ragazzi li crescono imbottendoli di roba inguardabile!

Kenshiro pur con tutta la sua violenza aveva dei valori sani. Hai mai visto Kenshiro piangere e lamentarsi perché uno gli ha portato via la donna?! No cacchio... si fa un deserto a piedi smacellando balordi e si riprende la donna.
Ragna Crimson? Si è fatto venire un attacco di panico o si è messo a piangere perché il mondo viene devastato da quella che sembra una forza inarrestabile? No! Decide che li farà tutti a fette senza la benché minima pietà e secondo me godendoci anche un poco.

Oppure Iron Blood Gundam quando ritrovano il principino che aveva trucidato gli amici dei protagonisti... ci si mettono forse a dialogare? No cacchio... lo schiacciano vivo con una cazzutissima tenaglia gigante.

UNA SCENA CHE VALE TUTTA UNA SERIE