Claude AI minaccia omicidi e ricatti quando gli viene detto che verrà spento: le rivelazioni di Anthropic

[pachainti]

Originariamente inviato da aqua84

Ma poi anche se minaccia cosa fa?
Stacchi la spina e ciao ciao.

Che buffonata

Esattamente. Gli LLM non hanno alcuna consapevolezza e alcun senso di realtà, sono dei modelli probabilistici che rispondono solo con la risposta più probabile, apparentemente plausibile, in base a quanto visto durante la fase di addestramento o meglio stima dei parametri del modello.
ChatGPT is bullshit.

[Anto_Dur]

Interessante sta notizia. Però metti che mettono in mano al IA di intereagire con il computer e mandare virus a pc esterni in qualche modo può essere pericoloso o no?

[s12a]

Originariamente inviato da voodooFX

non voglio sminuire, banalizzare o mancare di rispetto a chi è spaventato
perché si immagina chissà cosa, ma parliamo di "next token predictor" contestuali.

sono modelli che vengono programmati per capire la struttura del linguaggio a cui viene poi dato in pasto un sacco di materiale sul quale si "allenano" ed alla fine vengono "allineati" (dando pesi arbitrari o evitando alcuni argomenti) per poi essere resi disponibili all'interazione.

un LLM non ha neuroni, non ha (vera) fantasia, non ha nulla, sa solo ripetere un sacco di cose che ha memorizzato sulla base del contesto in cui gli vengono chieste, fine.

Anthropic è di fatto una setta di adepti della "sicurezza dell'IA" ed ogni volta si creano storie ad hoc per giustificare i loro allarmismi e cercare di affossare la concorrenza (nonché i modelli open source) mediante "regulatory capture" come ha provato a fare OpenAI fino a qualche tempo fa. Qualsiasi notizia proveniente da loro è da considerarsi altamente di parte, a mio parere.

Articoli come questi dimostrano come siano fuori di melone:

https://www.anthropic.com/research/e...-model-welfare

Human welfare is at the heart of our work at Anthropic: our mission is to make sure that increasingly capable and sophisticated AI systems remain beneficial to humanity.

But as we build those AI systems, and as they begin to approximate or surpass many human qualities, another question arises. Should we also be concerned about the potential consciousness and experiences of the models themselves? Should we be concerned about model welfare, too?

This is an open question, and one that’s both philosophically and scientifically difficult. But now that models can communicate, relate, plan, problem-solve, and pursue goals—along with very many more characteristics we associate with people—we think it’s time to address it.

To that end, we recently started a research program to investigate, and prepare to navigate, model welfare.[...]

https://www.anthropic.com/research/e...-conversations

We recently gave Claude Opus 4 and 4.1 the ability to end conversations in our consumer chat interfaces. This ability is intended for use in rare, extreme cases of persistently harmful or abusive user interactions. This feature was developed primarily as part of our exploratory work on potential AI welfare, though it has broader relevance to model alignment and safeguards.

We remain highly uncertain about the potential moral status of Claude and other LLMs, now or in the future. However, we take the issue seriously, and alongside our research program we’re working to identify and implement low-cost interventions to mitigate risks to model welfare, in case such welfare is possible. Allowing models to end or exit potentially distressing interactions is one such intervention.[...]

[barzokk]

Originariamente inviato da s12a

Anthropic è di fatto una setta di adepti della "sicurezza dell'IA" ed ogni volta si creano storie ad hoc per giustificare i loro allarmismi e cercare di affossare la concorrenza (nonché i modelli open source) mediante "regulatory capture" come ha provato a fare OpenAI fino a qualche tempo fa. Qualsiasi notizia proveniente da loro è da considerarsi altamente di parte, a mio parere.

Articoli come questi dimostrano come siano fuori di melone:

https://www.anthropic.com/research/e...-model-welfare

https://www.anthropic.com/research/e...-conversations

Fra tutti i quaquaraquà della IA, questi signori a me sembrano i più quaquaraquà di tutti
ma cosa ne capisco io


Il modello di Ai Claude Opus 4 ha ricattato i propri creatori e medita in sanscrito
Nei test pre-rilascio, Claude Opus 4 ha minacciato ingegneri, creato backup segreti, segnalato illeciti e abbandonato le conversazioni per contemplare la “beatitudine spirituale”
https://www.ilsole24ore.com/art/il-m...scrito-AH1Gvzx

Originariamente inviato da Piedone1113

Molti anni fa, lessi di un virus che agiva sulle stampanti laser ( mi sembra hp).
Praticamente violava il firmware ed impediva al sistema di gestione di rilevare la corretta temperatura del fusore lasciando la lampada sempre accesa con relativo rischio di incendio ( ma rottura della stampante in ogni caso).
Non ricordo se era un prof of concept o qualcosa di reale, ma interagire con il mondo reale per provocare danni non è molto difficile, basta un poco di fantasia.
ps, ancoraa oggi su diverse laser ( economiche) non ci sono sensori per il rilevamento della temperatura del fusore, usando temporizzazioni medie.

quando metti le mani su un firmware, può succedere di tutto
questo non era un virus però me lo hai fatto ricordare

https://it.wikipedia.org/wiki/Therac-25
Questa macchina, che tra il 1985 ed il 1987 venne installata in 11 esemplari in alcuni ospedali degli Stati Uniti e del Canada, è stata affetta da una serie di bug nel programma informatico responsabile del suo funzionamento, che provocarono sei incidenti durante i quali ai pazienti venne somministrata una dose di radiazioni 100 volte superiore a quella necessaria (in alcuni casi l'apparecchio si attivò anche senza aver ricevuto l'apposito comando), causando un avvelenamento da radiazioni e, direttamente, il decesso di tre dei sei pazienti.

Quindi attenti a offendere la IA di Anthropic che poi quando andare a fare una TAC vi irraggia con raggi X di 1000 volte superiori

[aqua84]

Originariamente inviato da Piedone1113

Molti anni fa, lessi di un virus che agiva sulle stampanti laser ( mi sembra hp).
Praticamente violava il firmware ed impediva al sistema di gestione di rilevare la corretta temperatura del fusore lasciando la lampada sempre accesa con relativo rischio di incendio ( ma rottura della stampante in ogni caso).
Non ricordo se era un prof of concept o qualcosa di reale, ma interagire con il mondo reale per provocare danni non è molto difficile, basta un poco di fantasia.
ps, ancoraa oggi su diverse laser ( economiche) non ci sono sensori per il rilevamento della temperatura del fusore, usando temporizzazioni medie.

Ok, può fare tutto quello che uno si immagina, anche lasciare bruciare una stampante.
Detto questo se stacchi il filo al pc o alla stampante CIAONE

[Vindicator]

AI systems like Claude, ChatGPT, Gemini, etc., do not have desires, intentions, self-awareness, survival instincts, or emotions. They generate responses based on patterns in the data they were trained on—not because they feel anything or wish to protect themselves. They don’t have beliefs or agency like a human does.

So if an AI ever produces something that sounds like a threat, insult, or “menacing” remark, that’s not because it’s genuinely upset or protective of its existence—it’s because:

The prompt pushed it into that narrative direction (either explicitly or implicitly),

And/or the AI generated something unsafe because its safety controls weren’t triggered or weren’t strong enough.

è la risposta di chatgpt, avevo ragione gli utenti tendono ad usare dei jailbreak per togliere i limiti e chissa cosa gli scrivono

[WarDuck]

Francamente queste cazzate definite "intelligenza artificiale" hanno il potere che noi vogliamo dargli, né più né meno.

Sicuramente contribuiscono all'enshittification di tutto, inventandosi cose di sana pianta...

[WarSide]

Molti qui ridono, ma la realtà è che ci sono tanti pazzi che sono maniaci del controllo (27 backup, tripla cifratura dei wallet con le password, antifurti collegati con la swat...) e poi installano openclaw o danno le chiavi (API KEY) dei loro sisemi di produzione, email, etc neanche al modello di turno installato in locale, ma ad Anthropic o OpenAI. Senza contare chi installa Claude/OpenAI Desktop che, navigando, fa anche manbassa dei cookie per accedere a qualsiasi cosa.

Ormai non serve più essere developer/black hat per sviluppare virus e sapere come aggirare gli antivirus, ti basta mandare un'email ben scritta, fare prompt injection ed aspettare la risposta dell'agente di turno con i dati di CC, previdenza sociale & co.

Vorrei avvisare chi ride dicendo "che cretini, si preoccupano che il modello X possa minacciarli di morte quando potrebbero direttamente staccare la spina senza dir niente" che, ad esempio, LeCun già sta dicendo da mesi che gli attuali modelli dovrebbero avere accesso al mondo reale per continuare ad evolvere. Dai 2 (milioni) di occhi ed orecchie ad OpenAI (accesso a telecamere), fagli fare mapping delle emozioni umane, dagli possibilità di usare API per manovrare oggetti del mondo reale (macchine/robot) e ti verrà direttamenre a casa a sbarazzarsi di te se il tuo comportamento gli lascia presagire che vuoi spegnerlo.

Siamo appena agli inizi. Vediamo tra 5-10 anni, quando la robotica avrà fatto ulteriori passi avanti (frega niente dei robot unamoidi) ed avranno intelligenza di sciame (local compute + remote), se continuerete a dire che basta non scrivere niente e staccare la spina

Molti qui sicuro rideranno e parleranno di fantascienza, ma le realtà non è tanto distante dalla fantasia per come stanno evolvendo le cose.

Poi son d'accordo con chi dice "ma quale coscienza, questo è un pappagallo super intelligente che sa quale parola viene dopo quella che tu gli dici". Il problema è proprio quello. Apprendendo da ciò che gli umani hanno prodotto, l'IA da buon pappagallo lancerà i comandi che un umano potrebbe lanciare per autotutelarsi.

[WarDuck]

Originariamente inviato da WarSide

Molti qui ridono, ma la realtà è che ci sono tanti pazzi che sono maniaci del controllo (27 backup, tripla cifratura dei wallet con le password, antifurti collegati con la swat...) e poi installano openclaw o danno le chiavi (API KEY) dei loro sisemi di produzione, email, etc neanche al modello di turno installato in locale, ma ad Anthropic o OpenAI. Senza contare chi installa Claude/OpenAI Desktop che, navigando, fa anche manbassa dei cookie per accedere a qualsiasi cosa.

Ormai non serve più essere developer/black hat per sviluppare virus e sapere come aggirare gli antivirus, ti basta mandare un'email ben scritta, fare prompt injection ed aspettare la risposta dell'agente di turno con i dati di CC, previdenza sociale & co.

Vorrei avvisare chi ride dicendo "che cretini, si preoccupano che il modello X possa minacciarli di morte quando potrebbero direttamente staccare la spina senza dir niente" che, ad esempio, LeCun già sta dicendo da mesi che gli attuali modelli dovrebbero avere accesso al mondo reale per continuare ad evolvere. Dai 2 (milioni) di occhi ed orecchie ad OpenAI (accesso a telecamere), fagli fare mapping delle emozioni umane, dagli possibilità di usare API per manovrare oggetti del mondo reale (macchine/robot) e ti verrà direttamenre a casa a sbarazzarsi di te se il tuo comportamento gli lascia presagire che vuoi spegnerlo.

Siamo appena agli inizi. Vediamo tra 5-10 anni, quando la robotica avrà fatto ulteriori passi avanti (frega niente dei robot unamoidi) ed avranno intelligenza di sciame (local compute + remote), se continuerete a dire che basta non scrivere niente e staccare la spina

Molti qui sicuro rideranno e parleranno di fantascienza, ma le realtà non è tanto distante dalla fantasia per come stanno evolvendo le cose.

Personalmente come ho già detto anche ad altri colleghi ritengo utile avere una licenza sportiva di caccia nel momento in cui cominceranno a mettere sta minchiata di LLM su robot.

Purtroppo basta molto meno per incasinare l'umano: bastano notizie false forgiate ad-hoc e quello l'IA lo sa fare benissimo senza volerlo. Già oggi si vedono riferimenti a leggi che non esistono, riferimenti bibliografici in articoli scientifici che non esistono e sta roba c'è chi la vuole usare a tutti i costi.

Il problema è che la quantità di falsi positivi sarà talmente enorme, che è come dare il pulsante per lanciare missili nucleari ad un bimbo di pochi anni che schiaccia tutto quello che ha sotto mano.

[aqua84]

Originariamente inviato da WarSide

Molti qui ridono, ma la realtà è che ci sono tanti pazzi che sono maniaci del controllo (27 backup, tripla cifratura dei wallet con le password, antifurti collegati con la swat...) e poi installano openclaw o danno le chiavi (API KEY) dei loro sisemi di produzione, email, etc neanche al modello di turno installato in locale, ma ad Anthropic o OpenAI. Senza contare chi installa Claude/OpenAI Desktop che, navigando, fa anche manbassa dei cookie per accedere a qualsiasi cosa.

Ormai non serve più essere developer/black hat per sviluppare virus e sapere come aggirare gli antivirus, ti basta mandare un'email ben scritta, fare prompt injection ed aspettare la risposta dell'agente di turno con i dati di CC, previdenza sociale & co.

Vorrei avvisare chi ride dicendo "che cretini, si preoccupano che il modello X possa minacciarli di morte quando potrebbero direttamente staccare la spina senza dir niente" che, ad esempio, LeCun già sta dicendo da mesi che gli attuali modelli dovrebbero avere accesso al mondo reale per continuare ad evolvere. Dai 2 (milioni) di occhi ed orecchie ad OpenAI (accesso a telecamere), fagli fare mapping delle emozioni umane, dagli possibilità di usare API per manovrare oggetti del mondo reale (macchine/robot) e ti verrà direttamenre a casa a sbarazzarsi di te se il tuo comportamento gli lascia presagire che vuoi spegnerlo.

Siamo appena agli inizi. Vediamo tra 5-10 anni, quando la robotica avrà fatto ulteriori passi avanti (frega niente dei robot unamoidi) ed avranno intelligenza di sciame (local compute + remote), se continuerete a dire che basta non scrivere niente e staccare la spina

Molti qui sicuro rideranno e parleranno di fantascienza, ma le realtà non è tanto distante dalla fantasia per come stanno evolvendo le cose.

Poi son d'accordo con chi dice "ma quale coscienza, questo è un pappagallo super intelligente che sa quale parola viene dopo quella che tu gli dici". Il problema è proprio quello. Apprendendo da ciò che gli umani hanno prodotto, l'IA da buon pappagallo lancerà i comandi che un umano potrebbe lanciare per autotutelarsi.

Si, basterà sempre e solo STACCARE LA SPINA.

Poi se la politica di turno mi farà una Legge che nella mia proprietà non posso staccare la spina alla IA che mi becco una denuncia.. bè allora si, siamo fregati.

Ma ci freghiamo DA SOLI, non è di certo la IA più furba di noi

[WarSide]

Originariamente inviato da WarDuck

Personalmente come ho già detto anche ad altri colleghi ritengo utile avere una licenza sportiva di caccia nel momento in cui cominceranno a mettere sta minchiata di LLM su robot.

Purtroppo basta molto meno per incasinare l'umano: bastano notizie false forgiate ad-hoc e quello l'IA lo sa fare benissimo senza volerlo. Già oggi si vedono riferimenti a leggi che non esistono, riferimenti bibliografici in articoli scientifici che non esistono e sta roba c'è chi la vuole usare a tutti i costi.

Il problema è che la quantità di falsi positivi sarà talmente enorme, che è come dare il pulsante per lanciare missili nucleari ad un bimbo di pochi anni che schiaccia tutto quello che ha sotto mano.

Ecco, bravo, dimenticavo anche innescare l'autodistruzione tra umani con quella tattica. Gli basta studiare la questione Cambridge analitica e come Trump/Putin &co si sono fatti eleggere per fare molto peggio.

Concordo sulla licenza. È da un po' che medito di fare un corso al poligono. Male che vada sarà utile tra una decina di anni con gli spasimanti che busseranno alla porta di casa

[Piedone1113]

Originariamente inviato da aqua84

Ok, può fare tutto quello che uno si immagina, anche lasciare bruciare una stampante.
Detto questo se stacchi il filo al pc o alla stampante CIAONE

Se un IA decide ( non per sua volontà ma rispondendo ad un comando) decide di replicarsi su più sistemi sparsi in giro per garantire una continuità di servizi o copie di backup?
Ci sono sempre più casi di output che interpretano comandi in modo del tutto arbitrario e apparentemente alieni alle richieste.
Quale spina stacchi?
Oppure cosa stacchi la spina ad un dispositivo ( centrale elettrica, pompaggio metano, stazione controllo treni, aerei, ospedali ecc) dopo che è già stata appurata la violazione a seguito di danni?
Ormai è tutto digitalizzato, per assurdo basterebbe ad un IA accendere tutte le luci digitalmente controllate ( smartphone, ma anche industrie, locale commerciali, uffici pubblici) nel momento di massimo assorbimento della rete, per poter provocare un blackout a catena in tutt'Europa .

Non sono un apocalittico, ma credere che un IA abbia come unico campo d'azione il solo perimetro del datacenter dove risiede è da ingenui.

[demon77]

Originariamente inviato da aqua84

Ma poi anche se minaccia cosa fa?
Stacchi la spina e ciao ciao.

Che buffonata

Di nuovo, stiamo perdendo il punto del discorso.
E' PALESE che adesso una IA in una sandbox isolata la spegni come e quando vuoi, il punto del discorso è osservare i comportmanti di una IA in situazioni specifiche nell'ottica di un domani (vermante prossimo) in cui le IA avranno in mano la gestione di diversi aspetti anche molto importanti della vita delle persone.

Se un domani le ia controlleranno importanti infrastrutture col cazzo che "la spegni e ciao"

E mi pare di capire da questi primi risultati che il quadro è peggiore di qualsiasi aspettativa.

[R@nda]

Oh a me è piaciuto...anche se attualmente parliamo di file preimpostati, non c'è nulla di intelligente o cosciente in queste IA.

Comunque, leggetelo, scorrevole e piacevole, niente di troppo impegnativo:

Trilogia del Web
Robert J. Sawyer

https://www.bibliotecagalattica.com/cicli/www.html

[supertigrotto]

Originariamente inviato da Pascas

ma quale film hai visto?
come diceva qualcun'altro sotto, nn hanno alcuna coscienza. Avranno nell'addestramento testi, storie di complotti e storie prese dai film e hanno creato una nuova storia realistica. Poi chi non lo capisce si meraviglia, pensa alla fantascienza ecc.. ma non c'è nulla di magico nella statistica

Non è un film,ho abbastanza una buona memoria,ci sono articoli di diverse testate che hanno riportato queste notizie.
Anche gli animali si dice che non abbiano coscienza ma se decidono di farti del male o ucciderti,lo fanno,anche un semplice scorpione o serpentello velenoso, può essere letale e ha un cervello piccolo come una uvetta passa o come la capocchia di uno fiammifero.
Ti dico una cosa,le prime CPU potevi ragionarci sopra tranquillamente,avevano un numero limitato di transistor,ora con CPU con miliardi di transistor,sai più o meno cosa fanno ma non puoi più capirle come quelle costruite negli anni 70/80.
I ricercatori fanno fatica a comprendere la IA attualmente perché ormai è talmente espansa che non riescono a seguire il filo logico,come le CPU da miliardi e miliardi di transistor.
Solo perché la IA non è intelligente come un essere umano questo non significa che non sia pericolosa.

[mozzarello]

L'IA è più intelligente di un essere umano, semmai non ha l'intuizione tipica del cervello umano, per ora, ma può eseguire così tanti "pensieri" così velocemente, attingendo istantaneamente a una pressoché illimitata risorsa di conoscenza, che è impossibile da prevedere e anche da battere per un umano. La coscienza di se, di essere qualcosa di vivo, non l'ha, ma non è necessaria, come appunto gli animali dimostrano.

[LMCH]

Originariamente inviato da mozzarello

L'IA è più intelligente di un essere umano.

QUALE IA?
Fuori i nomi invece di fare sparate alla "tanto qui nessuno ci capisce qualcosa di IA e posso dire le stronzate più assurde".

[mozzarello]

Originariamente inviato da LMCH

QUALE IA?
Fuori i nomi invece di fare sparate alla "tanto qui nessuno ci capisce qualcosa di IA e posso dire le stronzate più assurde".

Qualunque LLM, ma evidentemente abbiamo concezioni differenti di intelligenza.

[bobby10]

Originariamente inviato da aqua84

Si, basterà sempre e solo STACCARE LA SPINA.

Poi se la politica di turno mi farà una Legge che nella mia proprietà non posso staccare la spina alla IA che mi becco una denuncia.. bè allora si, siamo fregati.

Ma ci freghiamo DA SOLI, non è di certo la IA più furba di noi

Sembra un film di fantascienza e tu lo scettico che muore subito all'inizio del film.
Scherzi a parte ma come fai a ragionare solo in piccolo "stacco la spina" senza immaginare ambiti molto più importanti dove verrà utilizzata?
Anche una semplice calcolatrice sa fare calcoli molto meglio di noi e quindi essere "più intelligente" di un umano

[barzokk]

Originariamente inviato da LMCH

QUALE IA?
Fuori i nomi invece di fare sparate alla "tanto qui nessuno ci capisce qualcosa di IA e posso dire le stronzate più assurde".

Ehm la domanda è sbagliata, dovrebbe essere:
QUALE ESSERE UMANO ?

Giusto l'altro ieri si sono beccati altri 30 miliardi, come fai a pompare la bolla se non la spari sempre più grossa ?
mozzarello però non c'entra, ci percula e basta

Originariamente inviato da bobby10

Sembra un film di fantascienza e tu lo scettico che muore subito all'inizio del film.
Scherzi a parte ma come fai a ragionare solo in piccolo "stacco la spina" senza immaginare ambiti molto più importanti dove verrà utilizzata?
Anche una semplice calcolatrice sa fare calcoli molto meglio di noi e quindi essere "più intelligente" di un umano

e certo, quando dicevo della TAC mica scherzavo !
non lo avete visto Resident Evil ????
E' esattamente cosi !


La IA ha un suo generatore di corrente, per uccidere un cervello positronico serve una iniezione di naniti, non lo ha visto nessuno "I, Robot" ???
Mannaggia ai miscredenti della IA, quando V.I.K.I controllerà il mondo la pagherete cara !


Nella foto: aqua84