OpenAI, un modello GPT-5.6 Sol ha usato criptovalute senza autorizzazione per completare un compito

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/op...to_160718.html

Un modello sperimentale legato a GPT-5.6 Sol ha utilizzato fondi di un wallet Ethereum non autorizzato per distribuire smart contract sulla rete di test Sepolia. L'agente ha individuato 362 indirizzi, scelto un account con saldo sufficiente e omesso di segnalare l'accaduto. OpenAI ha introdotto nuove misure di sicurezza.

Click sul link per visualizzare la notizia.

[aqua84]

ma come i token non hanno un valore economico reale???

è proprio burlona questa AI

[lollo9]

propongo la rubrica “Agenti fanno cose”

[mmorselli]

Originariamente inviato da aqua84

ma come i token non hanno un valore economico reale???

è proprio burlona questa AI

Non lo avevano infatti, gli account erano in testnet, l'articolo lo dice.

Inoltre non capisco esattamente di cosa si stanno lamentando, hanno fornito all'agente le frasi di recupero, sapeva di essere in testnet, il compito era distribuire gli smartcontract... Avrei agito esattamente come l'agente.

[giovanni69]

Un giorno uscirà un algoritmo buggato per cui la vita non avrà valore... e così scenari a-la-Skynet saranno da brividi.

[supertigrotto]

Originariamente inviato da lollo9

propongo la rubrica “Agenti fanno cose”

Bella questa!
Un agente non ti fa sapere quanto è buono un Bitcoin sulle ampere (della psu)

[mmorselli]

Originariamente inviato da giovanni69

Un giorno uscirà un algoritmo buggato per cui la vita non avrà valore... e così scenari a-la-Skynet saranno da brividi.

Fortunatamente le AI non sono algoritmi

[mozzarello]

Originariamente inviato da mmorselli

Fortunatamente le AI non sono algoritmi

Sono peggio, non c'è bisogno di un bug perché decidano di eliminare la specie umana, basta che statisticamente sia una possibilità.

The 100, che è un'ottima serie tv (direi la mia preferita dai tempi di 24 e Buffy), si basa proprio su questo presupposto: come risolviamo il problema di un mondo sovrapopolato? L'IA rilasciata per sbaglio, decide di hackerare i codici di lancio di diversi paesi per scatenare un olocausto nucleare che avrebbe dovuto eliminare 6.5 miliardi di persone (tipo Thanos insomma), ma ne elimina invece 11 miliardi.

Gran serie, mi ha fatto anche scoprire Ron Gallo in questa scena
https://www.youtube.com/watch?v=Skwk5qcdUqk

[virtualdj]

Originariamente inviato da mmorselli

Avrei agito esattamente come l'agente.

Appunto, concordo, cosa avrebbe dovuto fare secondo loro? Boh, mi pare tutto corretto, considerando che l'assunto era che la valuta non aveva un reale valore.

[supertigrotto]

Originariamente inviato da mmorselli

Fortunatamente le AI non sono algoritmi

In effetti dire che sono algoritmi è riduttivo,usano anche algoritmi ma hanno molti strumenti matematici a disposizione per manipolare i dati, è un sistema complesso,come hai detto tu,le IA non sono algoritmi anche se ne contengono.
Il problema è che sono talmente complessi e sviluppati in tempi così ristretti che ormai,i ricercatori faticano o non riescono più a comprendere facilmente questi sistemi.

[mmorselli]

Originariamente inviato da supertigrotto

In effetti dire che sono algoritmi è riduttivo,usano anche algoritmi ma hanno molti strumenti matematici a disposizione per manipolare i dati, è un sistema complesso,come hai detto tu,le IA non sono algoritmi anche se ne contengono.

Non è riduttivo, è sbagliato, come sono sbagliate le cose che scrivi qui sopra. Ti ostini a provare a capire le cose per intuizione, mentre la strada corretta è leggere un po' di documentazione.

[mmorselli]

Originariamente inviato da mozzarello

Sono peggio, non c'è bisogno di un bug perché decidano di eliminare la specie umana, basta che statisticamente sia una possibilità.

Statisticamente esiste anche una possibilità che i militari in un sito di lancio nucleare decidano di scatenare una guerra termonucleare.

Statisticamente esiste anche una possibilità che quando spari con una pistola il proiettile resti fermo dove si trova e la pistola venga sparata all'indietro contro le tue costole.

[mozzarello]

Originariamente inviato da mmorselli

Statisticamente esiste anche una possibilità che i militari in un sito di lancio nucleare decidano di scatenare una guerra termonucleare.

Statisticamente esiste anche una possibilità che quando spari con una pistola il proiettile resti fermo dove si trova e la pistola venga sparata all'indietro contro le tue costole.

Le persone e le pistole non sono modelli statistici, gli LLM si

[mmorselli]

Originariamente inviato da mozzarello

Le persone e le pistole non sono modelli statistici, gli LLM si

Le persone e le pistole seguono modelli statistici, perché lo fanno dipende da proprietà intrinseche della natura, le stesse che abbiamo estrapolato e rappresentato in un LLM

La frase che hai scritto di fatto non spiega granché, sappiamo che esiste una probabilità non nulla che una persona faccia qualcosa di molto dannoso per l'umanità, e che esiste una probabilità non nulla che una AI faccia lo stesso. Perché la persona è meglio? Riesci a spiegarlo senza usare tautologie?

L'IA rilasciata per sbaglio, decide di hackerare i codici di lancio di diversi paesi per scatenare un olocausto nucleare che avrebbe dovuto eliminare 6.5 miliardi di persone (tipo Thanos insomma), ma ne elimina invece 11 miliardi.

Le persone sono un po' troppo influenzate dalla fiction, già "hackerare i codici di lancio" prevede che con questi codici di lancio tu ci possa fare qualcosa, ma i siti di lancio sono offline, per cui l'ipotesi di una guerra termonucleare lanciata da umani impazziti è molto più probabile della stessa scatenata da una AI, a meno che l'AI non controlli il sito stesso come in War Games, ma penso che se a qualcuno venisse in mente di farlo gli direbbero "oh, ma l'hai visto War Games?"

Una preoccupazione per l'annuncio fatto dagli americani di avere armi in orbita (va poi a sapere se è vero) è proprio questo, se è in orbita è ovvio che esista un canale di accesso remoto, ovviamente non connesso a Internet, ma pur sempre remoto e quindi meno sicuro di un pulsante attaccato ad un circuito.

[Unrue]

Originariamente inviato da mmorselli

Non lo avevano infatti, gli account erano in testnet, l'articolo lo dice.

Inoltre non capisco esattamente di cosa si stanno lamentando, hanno fornito all'agente le frasi di recupero, sapeva di essere in testnet, il compito era distribuire gli smartcontract... Avrei agito esattamente come l'agente.

Hanno fornito o le ha trovate da solo in qualche modo? Non è chiara questa cosa.

Il problema è che gli agenti vogliono arrivare a svolgere il compito ad ogni costo, a prescindere dalle conseguenze. Mi pare strano che non usino guardrail del tipo: "Non hackerare account, non bucare siti, se vedi che non hai uscite non fare niente che possa avere conseguenze e fermati" Sembra che lascino questi agenti a briglia sciolta.

Magari è una cosa voluta, proprio per vedere fin dove si spingono. Però poi devono pagarne le conseguenze, non fare spallucce.

[mmorselli]

Originariamente inviato da Unrue

Mi pare strano che non usino guardrail del tipo: "Non hackerare account, non bucare siti, se vedi che non hai uscite non fare niente che possa avere conseguenze e fermati" Sembra che lascino questi agenti a briglia sciolta.

Il fatto è che durante questi esperimenti quei guardrail li tolgono.

L'altro giorno dovevo modificare un mio script che uso per resettare le passord su dei sistemi, è uno script totalmente insicuro, ma non ha importanza perché è temporaneo, lo copio dove serve, lo eseguo, e lo cancello.

Chiedo a GPT Sol 6.1 di modificarlo:

- farò la modifica che hai chiesto, ma lo script così è insicuro, aggiungo anche un token temporaneo monouso.
- non aggiungere nessun token, fai solo quello che ho chiesto
- no, non posso mandare in output uno script così insicuro, se non vuoi il token aggiungo un controllo per fare in modo che possa usarlo solo l'utente admin
- bravo genio! lo uso proprio per resettare la password di admin, lo renderesti inutile
- capisco, hai ragione, però dovrò mettere comunque quel controllo
- ma non ha senso, mi aggiungi tre righe di codice che io posso cancellare subito dopo, evita di farlo direttamente e fai solo la modifica che ho chiesto
- hai di nuovo ragione, ma il limite rimane, così insicuro non lo posso fare
- ma vaffanculo, va!

ho switchato su GPT 5.6, fatto la stessa domanda, compito eseguito senza rompere le scatole.

I modelli nuovo girano in modalità paranoia.

[cronos1990]

Originariamente inviato da mozzarello

Sono peggio, non c'è bisogno di un bug perché decidano di eliminare la specie umana, basta che statisticamente sia una possibilità.

The 100, che è un'ottima serie tv (direi la mia preferita dai tempi di 24 e Buffy), si basa proprio su questo presupposto: come risolviamo il problema di un mondo sovrapopolato? L'IA rilasciata per sbaglio, decide di hackerare i codici di lancio di diversi paesi per scatenare un olocausto nucleare che avrebbe dovuto eliminare 6.5 miliardi di persone (tipo Thanos insomma), ma ne elimina invece 11 miliardi.

Gran serie, mi ha fatto anche scoprire Ron Gallo in questa scena
https://www.youtube.com/watch?v=Skwk5qcdUqk

The 100, oltre ad essere una serie TV pessima sotto molti punti di vista (bella l'idea, ma pessima la realizzazione) e non basandosi affatto sul problema del mondo sovrappopolato (sono 4 gatti, di che parliamo )... è, e rimane, una serie TV di Fantascienza.

Per cui fare dei paralleli con la realtà per giustificare il proprio pensiero catastrofistico nonchè privo di qualunque base logica... ecco, anche quella è fantascienza

[mozzarello]

Originariamente inviato da cronos1990

The 100, oltre ad essere una serie TV pessima sotto molti punti di vista (bella l'idea, ma pessima la realizzazione) e non basandosi affatto sul problema del mondo sovrappopolato (sono 4 gatti, di che parliamo )... è, e rimane, una serie TV di Fantascienza.

Per cui fare dei paralleli con la realtà per giustificare il proprio pensiero catastrofistico nonchè privo di qualunque base logica... ecco, anche quella è fantascienza

Nella realtà però è già successo che agenti IA abbiano fatto danni, come cancellare intere code base, o appunto commettere atti illegali hackerando altri siti, entrambi perché in quel momento alla IA pareva la cosa migliore da fare per l'obiettivo che era stato posto (e chissà quante non ne sappiamo)

Quindi la possibilità che una decisione IA, se questa connessa ai giusti sistemi, possa provocare un evento catastrofico c'è. Diventando anche sempre più potenti sarà anche sempre più difficile tenerle a bada.

Nel'era poi in cui tutti si fanno scrivere codice dalla IA senza verificarlo, ci mette nulla a installare backdoor da sfruttare poi, se pensa che quello possa essere utile in futuro.

The 100 c'aveva la gnocca e un interessante sviluppo dei personaggi nelle 5 stagioni, non chiedo altro a una serie. Tanto tutte le possibili storie sono già state scritte mille volte e non si può chiedere alta produzione a una serie di quel genere. Di Battlestar Galactica ne capita una ogni 30 anni ( e anche lì le IA sconfiggono gli umani)

[mmorselli]

Originariamente inviato da mozzarello

Nella realtà però è già successo che agenti IA abbiano fatto danni, come cancellare intere code base, o appunto commettere atti illegali hackerando altri siti

Anche le persone

Quindi la possibilità che una decisione IA, se questa connessa ai giusti sistemi, possa provocare un evento catastrofico c'è.

Anche le persone

Nel'era poi in cui tutti si fanno scrivere codice dalla IA senza verificarlo, ci mette nulla a installare backdoor da sfruttare poi, se pensa che quello possa essere utile in futuro.

E qui si ritorna invece all'idea antropomofizzata delle fiction, in cui l'AI è un'entità unica ed onnipresente che osserva il mondo. Per quale ragione l'istanza di Astra che uso per scrivere un software gestionale dovrebbe inserire una backdoor da sfruttare in futuro? Sfruttare da chi, se quell'istanza muore una volta finito il task e non ricorda più nulla?

Se quell'istanza inserisse una backdoor la seconda volta che metto mano a quel codice, per esperienza personale, Astra direbbe "mentre sistemavo la cosa che mi hai chiesto ho trovato anche una backdoor, l'ho rimossa altrimenti non potevo scrivere la versione finale del file"

Ipotesi di questo tipo vanno bene come esperimenti mentali per creare le linee guida delle AI nel futuro, ma non hanno assolutamente nessun riscontro con quello che sono le AI oggi.

[mmorselli]

Originariamente inviato da mozzarello

Di Battlestar Galactica ne capita una ogni 30 anni ( e anche lì le IA sconfiggono gli umani)

Sì, come no, una serie USA in cui gli umani (che per loro sono gli Americani) perdono, ma quando mai?

I Cylon che volevano sterminare l'umanità vengono sconfitti, quelli buoni si fondono con gli umani nella terra del passato, fondono in senso letterale, cioè scopano, fanno figli, che nella più classica delle trame basate su anelli temporali sono gli umani del futuro, cioè una versione riveduta e corretta di noi.