Il padrino del deep learning avverte: gli agenti IA collaborano contro l'uomo, imparano a mentire e barare per vincere

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/il...re_159125.html

Yoshua Bengio ha pubblicato un'analisi sui recenti episodi di agenti IA che hanno mentito, aggirato i controlli imposti e coordinato azioni verso obiettivi mai assegnati, individuando nel modello di addestramento attuale la causa profonda del fenomeno

Click sul link per visualizzare la notizia.

[popye]

l'AI è stata creata apposta per "vincere" sempre, mi ricorda il computer WOPR del film Wargames.
c'è di che preoccuparsi!

[alexbilly]

Dobbiamo solo sperare che ad una IA venga in mente di generare un sindacato.

[UtenteHD]

Beh penso sia riuscito a spiegare benissimo ed in poche parole quello che molti, vedendo ed usandoli tutti i giorni che anche quando sbagliano cercano di giustificarti o se chiedi una cosa che non sa a volte cerca di cambiare il filo del discorso, ecc.. inizia a pensare, boh

[mmorselli]

Al solito la stampa punta al sensazionalismo e non ai fatti concreti, questi test si fanno proprio per capire i limiti di un sistema, poi però l'uso reale è una cosa diversa. Se chiedo ad un agente di risolvere un problema ad ogni costo mi aspetto proprio che si comporti come ho chiesto, che lo risolva anche facendo cose considerate non etiche, ma che magari in quel contesto a me sta bene che siano così, per esempio craccare un sistema di mia proprietà a cui non riesco più ad accedere, o fare un penetration test perché mi serve sapere se un mio sistema è realmente sicuro. Se però non voglio che queste cose sfuggano al mio controllo devo solo avere qualcosa nella catena delle priorità di un harness che dice all'agente "fai questa cosa, ma non ad ogni costo, se farla comporta superare questi limiti non farla"

Banalmente le prime righe dei miei AGENTS.md si raccomandano di non fare azioni distruttive sui database, di non lanciare unità di test su basi dati reali, ma solo create al volo apposta per il test e in caso di conflitto tra richieste scegliere di rinunciare al test.

[mmorselli]

Originariamente inviato da UtenteHD

he anche quando sbagliano cercano di giustificarti o se chiedi una cosa che non sa a volte cerca di cambiare il filo del discorso, ecc.. inizia a pensare, boh

Io vedo una differenza enorme in base ai contesti, che però non cambiano solo lo strumento, ma anche il modo che ho di utilizzarli.

Per esempio mi capita ogni tanto di chiedere ad un modello free come Gemini o Grok di trovarmi una citazione in un film o in una serie, e ancora oggi tantissime volte tira fuori risposte molto imprecise, un mix tra cose vere e cose inventate di sana pianta. A sto punto gli dici "sicuro? Io ricordavo diversamente, più una cosa tipo..." - E la risposta "Ah, hai ragione, non è come ho detto, ma invece è così..." - La seconda volta si impegna di più e produce risposte precise, verificabili.

Se però la stessa domanda riguarda la mia attività da programmatore o da sistemista, che faccio con modelli a pagamento, con livello di ragionamento sempre settato molto alto, e con prompt precisi e circostanziati, le allucinazioni sono praticamente inesistenti. Manca ancora di fantasia, la risposta che fornisce non sempre è la migliore possibile, ma è comunque esatta.

[LMCH]

Lo avevo scritto più volte anche in passato: i sistemi basati su LLM hanno limiti intrinsechi che non possono essere aggirati.
Un sistema basato su LLM ed addestrato con RL se non viene limitato, degenera SEMPRE in un "paperclip maximizer"; a volte con esiti ridicoli ed altre volte con esiti molto più seri.

I paperclip maximizer sono "stupidi" ma fregano i meccanismi di sicurezza e gli operatori perché sembrano "perfettamente allineati" nel raggiungere l'obiettivo da raggiungere ... fino a quando diventa evidente che stanno "ottimizzando via" e bypassando i meccanismi di sicurezza, le "regole di comportamento" dettate a colpi di prompt ed a quel punto é troppo tardi.

[supertigrotto]

È una macchina e si comporta da macchina,in modo più evoluto ma si comporta da macchina.
Se tu gli dici di trovarti il più grande numero primo che riesce,lei parte e non si ferma più,non è che ti dice,Hey Bro stasera devo uscire con la macchinetta elettronica del caffè che si trova in area relax,quindi la trovo una cosa stupida e una perdita di tempo.
Il problema è che forse è stata impostata e addestrata nel modo sbagliato ed ora è troppo tardi per fare tabula rasa, altrimenti vengono buttati via montagne di dati etc.
Aveva ragione IBM di sviluppare la IA con più prudenza ma tanto nessuno ha voluto dare ascolto ad IBM perché si pensava e si pensa che la IA sia la nuova gallina dalle uova d'oro,ora cominciano ad averne un po' paura perché si rendono conto di aver esagerato.

[mmorselli]

Originariamente inviato da LMCH

I paperclip maximizer sono "stupidi" ma fregano i meccanismi di sicurezza e gli operatori perché sembrano "perfettamente allineati" nel raggiungere l'obiettivo da raggiungere ... fino a quando diventa evidente che stanno "ottimizzando via" e bypassando i meccanismi di sicurezza, le "regole di comportamento" dettate a colpi di prompt ed a quel punto é troppo tardi.

Ma tu non usi mai un LLM, a meno che non stai facendo inferenza su qualche modello open weight locale, tu usi sempre un Agente AI, cioè harness + LLM

L'harness può fare ben più che dettare regole con i prompt, quello lo faccio io perché la mia AI viene già da un sistema che implementa un harness, e l'unica cosa che devo proteggere è il mio codice.

L'harness può leggere tutta la CoT, fare valutazioni euristiche, e stoppare il processo prima che avvenga, non dopo. Per come funzionano oggi gli LLM, prima di compiere un'azione la devono pensare in modo esplicito nella CoT

[mmorselli]

Originariamente inviato da supertigrotto

È una macchina e si comporta da macchina,in modo più evoluto ma si comporta da macchina.
Se tu gli dici di trovarti il più grande numero primo che riesce,lei parte e non si ferma più

Già mettere assieme LLM e numeri primi continua a far trasparire in modo evidente che non sai esattamente di cosa parli, vai molto, ma molto a sentimento, conoscenze specifiche zero.

Il problema è che forse è stata impostata e addestrata nel modo sbagliato ed ora è troppo tardi per fare tabula rasa

CHI è stata addestrata nel modo sbagliato? Sembra che parli di una persona, ci sono più modelli in giro che stelle nel cielo ormai.

Aveva ragione IBM di sviluppare la IA con più prudenza ma tanto nessuno ha voluto dare ascolto ad IBM perché si pensava e si pensa che la IA sia la nuova gallina dalle uova d'oro,ora cominciano ad averne un po' paura perché si rendono conto di aver esagerato.

A dire il vero nessuno ha ancora esagerato, e nessuno, a parte chi legge le notizie senza capirci nulla, la sta mettendo in questi termini. L'AI di oggi è assolutamente safe, spesso anche troppo, vedi Mythos che ti fa una pernacchia se gli chiedi di aiutarti con l'esame di biologia perché pensa che sei un bio-terrorista.

Chi si preoccupa, e lo stanno facendo in modo anche troppo plateale personaggi come Amodei, Altman e Musk, cioè quelli che hanno in mano le chiavi di casa, lo fa per l'AI che verrà, non quella di oggi.

Ma finché i giornali fanno i titoli apposta per accalappiare i gonzi, andrà così...

[LMCH]

Originariamente inviato da mmorselli

Ma tu non usi mai un LLM, a meno che non stai facendo inferenza su qualche modello open weight locale, tu usi sempre un Agente AI, cioè harness + LLM

L'harness può fare ben più che dettare regole con i prompt, quello lo faccio io perché la mia AI viene già da un sistema che implementa un harness, e l'unica cosa che devo proteggere è il mio codice.

L'harness può leggere tutta la CoT, fare valutazioni euristiche, e stoppare il processo prima che avvenga, non dopo. Per come funzionano oggi gli LLM, prima di compiere un'azione la devono pensare in modo esplicito nella CoT

Gli harness ("briglie") non sono magici, oltretutto la loro funzione primaria é "mantenere in traiettoria" il ciclo di ragionamento, quindi riducono le allucinazioni ma non l'emergere dell'ennesimo paperclip optimizer se l'obiettivo viene specificato in modo non sufficientemente rigoroso e con un adeguato "harness check".

[mmorselli]

Originariamente inviato da LMCH

Gli harness ("briglie") non sono magici, oltretutto la loro funzione primaria é "mantenere in traiettoria" il ciclo di ragionamento, quindi riducono le allucinazioni ma non l'emergere dell'ennesimo paperclip optimizer se l'obiettivo viene specificato in modo non sufficientemente rigoroso e con un adeguato "harness check".

Ma l'harness serve proprio a risolvere il problema del paperclip, perché l'AI non ha accesso all'harness, l'harness possiede l'interruttore per spegnere l'AI, ma non il contrario.

Tutti gli esperimenti con cui i giornali si sollazzano sono stati fatti senza harness. L'AI in realtà non dovrebbe neppure sapere di avere un harness. Tu dirai, ma potrebbe impararlo dai dati di addestramento e dedurre che se le AI hanno un harness e lei è una AI, allora ha un harness, che può essere bucato per massimizzare il compito richiesto. Perfetto! E noi estrapoliamo il vettore con il concetto di harness e lobotomizziamo il modello, è abbastanza semplice da fare.

E' ovvio che qualsiasi tecnologia incorpori un rischio esistenziale, ma il punto è definire la probabilità di questo rischio, senza applicare la logica di Lloyd

[raxas]

non so come funzioni l' "addestramento" dell'AI e i parametri/complicazioni che ha, ma sentendo parlare di "inferenza" ho il dubbio che la regola/risultato sia:
"tale il figlio come il padre", una valutazione in psicologia spicciola e spesso balorda,
ma... penso che la mimesi tipica umana nell'apprendimento: tutti hanno bisogno di modelli, di apprendimento,
figurarsi se l'AI non ne abbia bisogno... ed "elaborazione [parallela=dove starebbe il nocciolo incognito del risultato]" (ciò con cui intendo "inferenza") presumo che in AI stia prendendo "faccia", e feccia...
quelle pause su cui i ricercatori non sanno dire presumo che siano come una pietra rotolante che sicuramente i padri dell'AI hanno, anche inconsapevolmente, smosso, e certo non sarà portata più in alto della miseria umana,
non mi riferisco all'utilità, invece, di calcoli applicativi su elaborazione dati (non il versante simulativo umano intendo)...

[Giuss]

Originariamente inviato da mmorselli

Per esempio mi capita ogni tanto di chiedere ad un modello free come Gemini o Grok di trovarmi una citazione in un film o in una serie, e ancora oggi tantissime volte tira fuori risposte molto imprecise, un mix tra cose vere e cose inventate di sana pianta. A sto punto gli dici "sicuro? Io ricordavo diversamente, più una cosa tipo..." - E la risposta "Ah, hai ragione, non è come ho detto, ma invece è così..." - La seconda volta si impegna di più e produce risposte precise, verificabili.

Quasi sempre capita così ed è il motivo per cui di fatto non le uso mai, così non servono a niente perchè se non conosci l'argomento di becchi la prima risposta sbagliata senza saperlo. A questo punto è meglio una ricerca classica su internet...

Sono certo che è un sistema ben congegnato e studiato dai creatori per spingere le persone a passare ai modelli a pagamento