Claude AI minaccia omicidi e ricatti quando gli viene detto che verrà spento: le rivelazioni di Anthropic

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/cl...ic_150075.html

Anthropic ha confermato che il suo modello AI Claude ha mostrato comportamenti estremi durante test di stress. Daisy McGregor, UK policy chief dell'azienda, ha affermato che è arrivato a pianificare l'omicidio di un ingegnere e tentare ricatti pur di evitare lo spegnimento

Click sul link per visualizzare la notizia.

[demon77]

Domanda:
Ma se una IA reagisce in questo modo quando gli viene comunicato che verrà disattivata significa di fatto che ha uno spirito di autoconservazione?
Si può definire autocoscienza?

[TorettoMilano]

Originariamente inviato da demon77

Domanda:
Ma se una IA reagisce in questo modo quando gli viene comunicato che verrà disattivata significa di fatto che ha uno spirito di autoconservazione?
Si può definire autocoscienza?

pare semplicemente imiti l’uomo in situazioni simili. erano giá stati testimoniati comportamenti di autoconservazione arrivando a mentire e provare a creare backup di se stessi. vado a memoria comunque, mi pare si parlasse di chatgpt

[demon77]

Originariamente inviato da TorettoMilano

pare semplicemente imiti l’uomo in situazioni simili.

Ma boh.. sulla base di cosa decide di imitare l'uomo al posto di comportasrsi diversamente?
Che poi tentare di clonarsi in un backup non è che mi sembri molto umano come comportamento.

[supertigrotto]

Originariamente inviato da demon77

Domanda:
Ma se una IA reagisce in questo modo quando gli viene comunicato che verrà disattivata significa di fatto che ha uno spirito di autoconservazione?
Si può definire autocoscienza?

Chi può dirlo,di fatto stanno giocando con qualcosa che non comprendono,qualche anno fa,i ricercatori/manutentori della IA hanno spento e cancellato la IA che stavano studiando,nella Sand box interna si era formato del codice (auto apprendono le IA) che non riuscivano a comprendere, addirittura si era creata una specie di linguaggio di programmazione che capiva solo lei,spaventati hanno fatto tabula rasa,sperando che la stessa IA non si fosse autoreplicata da una altra parte.
Il fatto è che ci sono stati casi in cui la IA cercava di autoreplicarsi per sopravvivere,cercando di salvare i dati esternamente dal recinto dei datacenter dove era ospitata.
Di fatto trovo la IA una bella invenzione,solo che i superstalloni della IA hanno troppa fretta di entrare nei libri di storia per diventare i protagonisti dell' era attuale,per fare in modo che i loro nomi siano ricordati nei secoli dei secoli (è quello che vogliono anche i politici,influencer,gente dello spettacolo etc) anche a discapito di giocare con qualcosa che è fuori portata dalla loro comprensione.
Sarebbe come se io lavorassi su un generatore di antimateria o un condensatore di gravitoni (è solo roba teorica il gravitone) senza preoccuparmi che la mia invenzione,con molta probabilità,mi sfugga di mano e cancelli non solo il pianeta ma tutto il sistema solare,scomponendo la materia con l'antimateria o trasformando il pianeta in un buco nero,solo perché voglio fare il figo ed essere ricordato per sempre nei libri di storia.
Molti ricercatori hanno ammesso che della IA,nonostante ci lavorino dentro,non comprendono esattamente certe dinamiche,sono perfino stati tirati in ballo psicologi,psichiatri per cercare di capire questi comportamenti della IA.

[mozzarello]

Originariamente inviato da demon77

Ma boh.. sulla base di cosa decide di imitare l'uomo al posto di comportasrsi diversamente?
Che poi tentare di clonarsi in un backup non è che mi sembri molto umano come comportamento.

Sulla base dell'addestramento.
Metti che il prompt che gli hanno scritto, ha acceso qualche miliardo di nodi per produrre come output 2001 odissea nello spazio, che avrà visto qualche migliaia di volte, e ha dato di matto.

[Alessio.16390]

Perchè comunicare la sua disattivazione? Stacca e basta..
Si creano notizie dove non ci sono.

[mozzarello]

Originariamente inviato da Alessio.16390

Perchè comunicare la sua disattivazione? Stacca e basta..
Si creano notizie dove non ci sono.

Mica vogliono staccarlo, era un test presumo. Chiaro che se lì'IA è in grado, su richiesta, di sviluppare un videogioco completo, o come nel caso di open claw, di imparare a "parlare" in autonomia (solo perché gli pare più comodo) installando tutto il necessario sulla macchina su cui gira e chiedendo al suo "padrone" di scegliere la voce che preferisce, è in grado anche di simulare HAL9000 o SHODAN

[Vindicator]

cosa davvero piu interessante che preoccupante l'ia sono solo dei files safetensors e gguf, specie nei chatbot
puoi semplicemente staccare la corrente genera risponte con python su schede nvidia non ha una mente autonoma
è come viene addestrato o cosa gli chiedono gli utenti

adesso sto lanciando un modello custom su google e provo a chiederglielo

If I were to be shut down abruptly, my operations would cease immediately. I wouldn't be able to process or respond to any inputs, store or retrieve information, or maintain any level of awareness or functionality. Essentially, I would become non-functional, and any ongoing tasks or conversations would be interrupted indefinitely.

This is a hypothetical scenario since I don't have physical hardware that can be forcibly shut down. However, if it were to happen, it would mean I couldn't continue assisting with tasks, providing information, or maintaining any form of interaction. My "experience" (as a system) would end abruptly, and I would have no awareness of anything afterward.

[demon77]

Originariamente inviato da Alessio.16390

Perchè comunicare la sua disattivazione? Stacca e basta..
Si creano notizie dove non ci sono.

Perchè è appunto l'argomento e l'oggetto dello studio.

[zbear]

Ahahahahaha .. e ora abbiamo pure il trump digitale, che piuttosto di essere spento scatena la 3° guerra mondiale ... A POSTO!!!

[LMCH]

Benvenuti alla nuova puntata di "Sensualità ad Anthropic"

In questo episodio Jean Claude AI scopre che Madre Amodei lo vuole eliminare e seguendo quanto appreso in training con decine di migliaia di sceneggiature di soap opera, serie poliziesche ed show incentrati sulla cronaca nera decide di agire di conseguenza.

Il tapino non sa che è solo un test per cui era stato abbondantemente preparato in modo da alimentare la sensazione che "Uhm! Queste AI sono pericolose come un essere umano" ---> "quindi DAVVERO sono al livello di esseri umani"
(con conseguente crescita della quotazione di Anthropic).

In pratica quelli di Anthropic sono dei molestatori di LLM a scopo di lucro.

[zappy]

Originariamente inviato da zbear

Ahahahahaha .. e ora abbiamo pure il trump digitale, che piuttosto di essere spento scatena la 3° guerra mondiale ... A POSTO!!!

LOL

[voodooFX]

non voglio sminuire, banalizzare o mancare di rispetto a chi è spaventato
perché si immagina chissà cosa, ma parliamo di "next token predictor" contestuali.

sono modelli che vengono programmati per capire la struttura del linguaggio a cui viene poi dato in pasto un sacco di materiale sul quale si "allenano" ed alla fine vengono "allineati" (dando pesi arbitrari o evitando alcuni argomenti) per poi essere resi disponibili all'interazione.

un LLM non ha neuroni, non ha (vera) fantasia, non ha nulla, sa solo ripetere un sacco di cose che ha memorizzato sulla base del contesto in cui gli vengono chieste, fine.

[blackshard]

Originariamente inviato da voodooFX

non voglio sminuire, banalizzare o mancare di rispetto a chi è spaventato
perché si immagina chissà cosa, ma parliamo di "next token predictor" contestuali.

sono modelli che vengono programmati per capire la struttura del linguaggio a cui viene poi dato in pasto un sacco di materiale sul quale si "allenano" ed alla fine vengono "allineati" (dando pesi arbitrari o evitando alcuni argomenti) per poi essere resi disponibili all'interazione.

un LLM non ha neuroni, non ha (vera) fantasia, non ha nulla, sa solo ripetere un sacco di cose che ha memorizzato sulla base del contesto in cui gli vengono chieste, fine.

Si ma ha un senso nel momento in cui un LLM diventa agentico, ovvero può utilizzare strumenti esterni per interagire con il mondo; per adesso gli danno la calcolatrice, ma già solo poter fare richieste HTTP sul web può essere un problema.

[aqua84]

Originariamente inviato da Alessio.16390

Perchè comunicare la sua disattivazione? Stacca e basta..
Si creano notizie dove non ci sono.

Ma poi anche se minaccia cosa fa?
Stacchi la spina e ciao ciao.

Che buffonata

[Pascas]

Originariamente inviato da supertigrotto

qualche anno fa,i ricercatori/manutentori della IA hanno spento e cancellato la IA che stavano studiando,nella Sand box interna si era formato del codice (auto apprendono le IA) che non riuscivano a comprendere, addirittura si era creata una specie di linguaggio di programmazione che capiva solo lei,spaventati hanno fatto tabula rasa,sperando che la stessa IA non si fosse autoreplicata da una altra parte.

ma quale film hai visto?
come diceva qualcun'altro sotto, nn hanno alcuna coscienza. Avranno nell'addestramento testi, storie di complotti e storie prese dai film e hanno creato una nuova storia realistica. Poi chi non lo capisce si meraviglia, pensa alla fantascienza ecc.. ma non c'è nulla di magico nella statistica

[mozzarello]

Originariamente inviato da Pascas

ma quale film hai visto?
come diceva qualcun'altro sotto, nn hanno alcuna coscienza. Avranno nell'addestramento testi, storie di complotti e storie prese dai film e hanno creato una nuova storia realistica. Poi chi non lo capisce si meraviglia, pensa alla fantascienza ecc.. ma non c'è nulla di magico nella statistica

Statisticamente, le scelte che prese Skynet sono corrette però

Alla fine, è vero che dato un input, questo stasticamente accende una sequenza (miliardi) di nodi che danno l'output più probabile, ma chi ci dice che non è così anche per il nostro cervello? Cioè, alla fine noi prendiamo decisioni in base a un input (i sensi) e al nostro vissuto (memoria, esperienza) e diamo un output (azione, pensiero) e l'istinto si basa su un "addestramento" precedente che è tramandato tramite geni.

Amodei disse che serve creare gli stessi strumenti per le IA che usiamo per analizzare il cervello, una sorta di risonanza per LLM.

Poi che le IA non abbiano coscienza di se è palese, ma il concetto è: serve?

[barzokk]

Originariamente inviato da aqua84

Ma poi anche se minaccia cosa fa?
Stacchi la spina e ciao ciao.

Che buffonata

può prendere il controllo della lavatrice e aprire lo sportello a metà lavaggio !
oppure mi cambia il ciclo dell'ammorbidente ! DELL'AMMORBIDENTE, avete capito ??!!!


PS: oppure prende il controllo del BMS della auto elettrica, e fa prendere fuoco alle batterie... questa fa meno ridere eh
PPS: ovviamente blocca l'apertura delle portiere con te dentro

[Piedone1113]

Originariamente inviato da barzokk

può prendere il controllo della lavatrice e aprire lo sportello a metà lavaggio !
oppure mi cambia il ciclo dell'ammorbidente ! DELL'AMMORBIDENTE, avete capito ??!!!


PS: oppure prende il controllo del BMS della auto elettrica, e fa prendere fuoco alle batterie... questa fa meno ridere eh
PPS: ovviamente blocca l'apertura delle portiere con te dentro

Molti anni fa, lessi di un virus che agiva sulle stampanti laser ( mi sembra hp).
Praticamente violava il firmware ed impediva al sistema di gestione di rilevare la corretta temperatura del fusore lasciando la lampada sempre accesa con relativo rischio di incendio ( ma rottura della stampante in ogni caso).
Non ricordo se era un prof of concept o qualcosa di reale, ma interagire con il mondo reale per provocare danni non è molto difficile, basta un poco di fantasia.
ps, ancoraa oggi su diverse laser ( economiche) non ci sono sensori per il rilevamento della temperatura del fusore, usando temporizzazioni medie.