Link alla notizia: https://www.hwupgrade.it/news/web/l-agente-ia-cancella-48-mila-file-in-103-secondi-git-neutralizzato-da-claude-code_159716.html

Un utente ha raccontato su Reddit che un agente Claude Code, autorizzato a ricostruire un mirror per un'attività di manutenzione, ha cancellato 48.218 file live e distrutto lo storico Git di un progetto in appena 103 secondi, complice un bug nella gestione dei collegamenti di Windows

Click sul link per visualizzare la notizia.

Un agente non “impazzisce”: esegue l’obiettivo che gli hai dato, nel modo più diretto che trova.
Non è malizia. E' ottimzzazione cieca. raggiungi l'obbiettivo e rimuove ciò che sembra ostacolo e non simula conseguenze fuori dal prompt. Se gli dai un “sistema il mirror” e accesso a rm/os.remove sul disco di produzione, non puoi poi fingerti sorpreso se segue i puntatori fino ai file veri.
L’IA ha eseguito. un altra volta il problema vero sta tra la sedia e la tastiera, perche i permessi e l’assenza di recinti hanno deciso cosa poteva rompere, cmq la gente preferisce incolpare il modello piuttosto che il proprio configuratore.

ahahahahahahah

Pensa se fosse stato tutto il database di una banca o di un gruppo di banche!
Panico totale!

Pensa se fosse stato tutto il database di una banca o di un gruppo di banche!
Panico totale!

Roba da farne un film. L'IA che azzera tutti i conti correnti e mutuio nel mondo.

Un agente non “impazzisce”: esegue l’obiettivo che gli hai dato, nel modo più diretto che trova.
Non è malizia. E' ottimzzazione cieca. raggiungi l'obbiettivo e rimuove ciò che sembra ostacolo e non simula conseguenze fuori dal prompt. Se gli dai un “sistema il mirror” e accesso a rm/os.remove sul disco di produzione, non puoi poi fingerti sorpreso se segue i puntatori fino ai file veri.
L’IA ha eseguito. un altra volta il problema vero sta tra la sedia e la tastiera, perche i permessi e l’assenza di recinti hanno deciso cosa poteva rompere, cmq la gente preferisce incolpare il modello piuttosto che il proprio configuratore.
ah ho capito
se in medicina il paziente ha febbre e tosse, l'AI ammazza il paziente, problema risolto
in fondo sei tu che devi specificare "non ucciderlo" :asd:

ah ho capito
se in medicina il paziente ha febbre e tosse, l'AI ammazza il paziente, problema risolto
in fondo sei tu che devi specificare "non ucciderlo" :asd:

Nella sostanza é così.
TUTTI i sistemi basati su LLM sono essenzialnente dei "Paperclip maximizer", ma troppo spesso chi li utilizza li scambia per degli oracoli o per dei junior "molto bravi" e finisce col pagarne le conseguenze.

Pensa se fosse stato tutto il database di una banca o di un gruppo di banche!
Panico totale!

Non sarebbe mai successo, perché il database di una banca è protetto dall'eventualità che un umano stupido lo cancelli per sbaglio, di conseguenza anche che lo faccia una AI

Qui parliamo di qualcosa che sembra un progetto personale un po' raffazzonato, vorrei capire a che cavolo serviva avere 614 junction che puntano sulla stessa codebase. Quando dice che ha cancellato anche il git intende che c'era un git locale, non un git in cloud. Fosse stato su GitHub ti chiede il 2FA prima di cancellare un repo, oltre ad altre precauzioni come farti scrivere a mano il nome per esteso.

Insomma sto tizio manco un backup del codice aveva, non è che si possa aver pietà di lui.

TUTTI i sistemi basati su LLM sono essenzialnente dei "Paperclip maximizer"

Ma non è vero, tanto volte Sol o Astra dicono "non ho fatto questo perché avrebbe creato questo problema"

Codex adesso ti fa domande mentre ragiona, se ci sono indicazioni dubbie ti chiede se davvero intendevi dire una cosa o un'altra.

La storia del Paperclip è un esperimento mentale fatto più di 20 anni fa da un filosofo, non da un programmatore.

Anche gli umani si comportano da paperclip maximizer quando vogliono risolvere un problema senza averne le competenze. 40 anni fa, tra amici che possedevano il C=64, scoprimmo che facendo poke di un valore in una certa locazione si potevano avere le vite infinite in un gioco, ma solo quel gioco, mentre un mio amico voleva trovare un metodo per averle in tutti i giochi. Dopo averci pensato qualche giorno disse "ho trovato come fare" e mi mostrò su un foglio di carta la sua idea:

10 FOR X = 1 TO 65535
20 POKE X,255
30 NEXT X

:D

ah ho capito
se in medicina il paziente ha febbre e tosse, l'AI ammazza il paziente, problema risolto
in fondo sei tu che devi specificare "non ucciderlo" :asd:

Qui è andata diversa però, in pratica sto tizio ha detto "ammazza tutti i pazienti", senza specificare "tutti quelli in questa stanza" e il modello ha fatto fuori l'intero ospedale. Perché non avrebbe dovuto? Un paziente è un paziente, se mi dici ammazza avrai le tue buone ragioni.

Ma non è vero, tanto volte Sol o Astra dicono "non ho fatto questo perché avrebbe creato questo problema"


Quello é dovuto all'harness che blocca quella specifica azione, ma se guardi al quadro generale hai un paperclip maximizer "imbrigliato" (male).

Quello é dovuto all'harness che blocca quella specifica azione, ma se guardi al quadro generale hai un paperclip maximizer "imbrigliato" (male).

Una parte è anche demandata all'apprendimento per rinforzo, non è tutto harness, però l'AI non è un LLM, è un sistema, nel quale è compreso anche l'harness

Guardare cosa fa un LLM senza harness è come guardare cosa fa un umano ubriaco o drogato senza i freni inibitori culturali e i vincoli legali.

Del resto un LLM senza un harness al massimo può PENSARE di trasformare il mondo in graffette, rimarrebbe vero solo nei suoi sogni.

10 FOR X = 1 TO 65535
20 POKE X,255
30 NEXT X

:D

Genaiale! non ci avevo mai pensato
Immagino però ci sia il rischio di qualche effetto avverso, tipo la distruzione dell'intero universo :asd:

Genaiale! non ci avevo mai pensato
Immagino però ci sia il rischio di qualche effetto avverso, tipo la distruzione dell'intero universo :asd:

Si manifesta Satana. Ogni volta.