Agente AI cancella l'intero database di una startup in 9 secondi: disastro PocketOS

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ag...os_153031.html

Jeremy Crane, fondatore di PocketOS, denuncia la perdita totale di database e backup causata da un agente Cursor basato su Claude Opus. Un errore di valutazione dell'IA ha portato alla cancellazione in soli nove secondi tramite le API di Railway

Click sul link per visualizzare la notizia.

[najmarte]

alla faccia del sito di staging..

[aqua84]

[Saturn]

Originariamente inviato da Redazione di Hardware Upgrade

Jeremy Crane, fondatore di PocketOS, denuncia la perdita totale di database e backup causata da un agente Cursor basato su Claude Opus. Un errore di valutazione dell'IA ha portato alla cancellazione in soli nove secondi tramite le API di Railway

[...]

PocketOS segnala che rimangono lacune significative nei dati e la società ha già deciso di procedere per vie legali per tutelare la propria posizione.

Vie legali ? Che malvagi che siete...STA IMPARANDO !

E su...un po' di comprensione.

Del resto l'essere umano vi faceva schifo, no ?

(so' polemico, so' polemico, lo so !)

Sempre VIVA I NOSTRI FUTURI PADRONI ARTIFICIALI !

[Opteranium]

quando qualcuno gli darà in mano il comando dei missili, faranno la stessa cosa

[marcram]

"È colpa dell'IA" è l'ovvia evoluzione del "è colpa del computer" che si sente ogni volta che hai a che fare con un impiegato davanti ad un pc...

[mh3g]

Terminator sta arrivando

[supertigrotto]

Originariamente inviato da Opteranium

quando qualcuno gli darà in mano il comando dei missili, faranno la stessa cosa

Tu scherzi ma il piano è dare in mano la rete elettrica,la rete idrica,le banche etc.....

[gomax]

Pochi giorni fa stavo facendo creare a Claude un paio di semplici script di automazione per Windows. Dopo alcuni prompt e alcune sue risposte dubbie (rivelatesi errate una volta approfondite), in sostanza ha cominciato ad argomentare e a giustificarsi con frasi tipo "avevo dedotto", "avevo stimato", "pensavo che",senza citare uno straccio di fonte reale utile per gli output insensati. Utilizzando il modello senza abbonamento, ho pensato "vabbè, questo è il modello povery-edition, immagino che professionisti e aziende multimilionarie su tutto il pianeta che implementano gli agenti pagati fior di migliaia di dollari nel loro core business non avranno mai a che fare azioni e risposte del genere, saranno implementati con misure di sicurezza e modelli molto più avanzati". A quanto pare immaginavo male.

Ciao

[mmorselli]

Originariamente inviato da Saturn

Del resto l'essere umano vi faceva schifo, no ?

E' stato l'umano a fare la cazzata, non puoi progettare un sistema così fragile. Se avessero chiesto ad un GPT a caso "come devo progettare un sistema di backup, perché sia sicuro?" avrebbe prodotto 10 pagine di best practice, e se avessero chiesto ad un agente a caso "configurami un sistema di backup sicuro" lo avrebbe fatto realmente sicuro, posto che sia messo nelle condizioni materiali di farlo.

L'AI può fare errori e lo sappiamo, ma gli umani, anche quelli più esperti, fanno regolarmente questo tipo di errori, cioè cancellare il file sbagliato, lanciare un comando troppo aggressivo, copiare il file vuoto su quello pieno... Gli esperti sono quelli che li commettono molto raramente. I backup, fatti bene, servono per questi casi.

[mmorselli]

Originariamente inviato da gomax

Pochi giorni fa stavo facendo creare a Claude un paio di semplici script di automazione per Windows.

Se era powershell, non ho mai visto una AI cavarsela bene. Il fatto è che powershell, seppure molto potente, fa schifo, e quindi pochi lo usano con la conseguenza che i dati di addestramento sono scarsi. Se gli chiedi di creare script in bash ti fanno roba che non credevi nemmeno si potesse fare con la shell

[euscar]

Al di là della vicenda, comunque

perdita definitiva dei dati (con l'unico backup disponibile risalente a tre mesi prima)

i backup si devono fare almeno settimanalmente e metterli sotto chiave

[Vindicator]

Claude? Non era nelle notizie che cancellava file da solo senza fare nulla

[zappy]

Originariamente inviato da supertigrotto

Tu scherzi ma il piano è dare in mano la rete elettrica,la rete idrica,le banche etc.....

speriamo che l'Italia arrivi in ritardo a questa "evoluzione"...
Come altre gran cazzate (il nuke, per es.), meglio non averle e si evitano danni catastrofici

[zappy]

Originariamente inviato da mmorselli

E' stato l'umano a fare la cazzata, non puoi progettare un sistema così fragile. Se avessero chiesto ad un GPT a caso "come devo progettare un sistema di backup, perché sia sicuro?" avrebbe prodotto 10 pagine di best practice, e se avessero chiesto ad un agente a caso "configurami un sistema di backup sicuro" lo avrebbe fatto realmente sicuro, posto che sia messo nelle condizioni materiali di farlo.

L'AI può fare errori e lo sappiamo, ma gli umani, anche quelli più esperti, fanno regolarmente questo tipo di errori, cioè cancellare il file sbagliato, lanciare un comando troppo aggressivo, copiare il file vuoto su quello pieno... Gli esperti sono quelli che li commettono molto raramente. I backup, fatti bene, servono per questi casi.

Quindi stai dicendo che se è l'umano a fare errori, e chiedi all'IA un backup perfetto, questa lancia i missili nucleari e stermina la popolazione terrestre, in modo che il backup sia sicuro...
Preferisco non avere backup

[mmorselli]

Originariamente inviato da supertigrotto

Tu scherzi ma il piano è dare in mano la rete elettrica,la rete idrica,le banche etc.....

Oh, anche le centrali a fusione nucleare se è per questo... non sto scherzando, ma contestualizziamo cosa vuol dire "mettere in mano"... Se le centrali a fusione un giorno funzioneranno davvero sarà perché il plasma lo può controllare solo l'AI, ma fidati che oltre a quello ci saranno anche tanti sistemi di sicurezza deterministici e responsabili della sicurezza con il casco in testa e la pettorina gialla.

Sicuramente quella parte in cui si deve ottimizzare la rete elettrica o idrica starà benissimo in mano all'AI quando riusciranno ad integrarla, sarà un modello ottimizzato per fare quella cosa, non qualsiasi cosa, anche perché l'AI non è brava a fare tutto, se lo fosse si chiamerebbe AGI e non AI

[mmorselli]

Originariamente inviato da zappy

Quindi stai dicendo che se è l'umano a fare errori, e chiedi all'IA un backup perfetto, questa lancia i missili nucleari e stermina la popolazione terrestre, in modo che il backup sia sicuro...
Preferisco non avere backup

Se avesse questa fantasia sarebbe anche in grado di scrivere canzoni e barzellette decenti, ma purtroppo...

L'AI cerca gli schemi più probabili, e per questo noiosi e prevedibili. Ovviamente qualcosa che funziona in modo probabilistico se risponde alla stessa domanda un miliardo di volte tirerà fuori anche quella cosa che ha una probabilità su un miliardo di accadere, per questo servono anche sistemi deterministici che verificano l'output di quelli probabilistici, ma questo lo sappiamo da tempo, gli agenti di programmazione funzionano bene proprio perchè adottano questo approccio.

[mmorselli]

Originariamente inviato da zappy

Come altre gran cazzate (il nuke, per es.), meglio non averle e si evitano danni catastrofici

Ricordami un danno "catastrofico" collegato all'energia nucleare, che non sia Chernobyl (che fu un miracolo di stupidità umana, con danni tutto sommato circoscritti)

Le centrali nucleari non sono bombe atomiche, sono centrali elettriche, non esplodono e non cancellano la civiltà. E' un po' come la paura irrazionale di spostarsi in aereo, malgrado le statistiche dicano che sia il mezzo più sicuro.

[LMCH]

Originariamente inviato da mmorselli

Ricordami un danno "catastrofico" collegato all'energia nucleare, che non sia Chernobyl (che fu un miracolo di stupidità umana, con danni tutto sommato circoscritti)

Le centrali nucleari non sono bombe atomiche, sono centrali elettriche, non esplodono e non cancellano la civiltà. E' un po' come la paura irrazionale di spostarsi in aereo, malgrado le statistiche dicano che sia il mezzo più sicuro.

Non esplodono come bombe nucleari, ma è sufficientete disattivare il sistema di raffreddamento ed ottieni una nuova Chernobyl o una nuova Fukushima.

Per un agente AI cancellare un volume o disattivare un sistema di raffreddamento è la stessa cosa, perchè non ha un World Model e neppure una Ground Truth a cui fare riferimento.

Quei genialoidi di OpenAI ed Anthropic pensano di aggirare certi problemi con direttive iniziali ecc. (che poi vengono "perse" in interazioni sufficientemente lunghe) ma è solo rossetto sul grugno del maiale.

Se poi si va a guardare nel dettaglio, spuntano letteralemente fuori folletti e creature fatate:
https://github.com/openai/codex/blob...odels.json#L55
"Never talk about goblins, gremlins, raccoons, trolls, ogres, pigeons, or other animals or creatures unless it is absolutely and unambiguously relevant to the user's query."

Maggiori dettagli qui:
https://www.wired.com/story/openai-r...about-goblins/

Sono degli scappati di casa che sono inciampati su un modo di far soldi con i LLM, ma in tutti questi anni non sono riusciti a trovare niente di meglio che "buttiamo più dati a caXXo nel nuovo modello e speriamo che venga fuori qualcosa di migliore", non c'è stata nessuna evoluzione significativa nei modelli teorici e negli algoritmi a parte ottimizzazioni per ridurre il costo computazionale ed interfacciamenti con tool e software "tradizionali" da pilotare via LLM.

Quello che mi sconcerta di più è che ci sono utilizzi pratici per i LLM, ma troppi li stanno usando a caXXo solo perchè sperano di farci soldi facili "in qualche modo".

Dire "un umano avrebbe fatto errori simili" non risolve il problema di base (se certi lavori li fai fare ad un essere umano, non ti fidi ciecamente del primo che capita come invece succede di fatto con i LLM).

[barzokk]

Quella dei goblin non la sapevo grazie

Bella anche quella degli scappati di casa che sono inciampati nel modo di fare soldi, definizione azzeccata

Originariamente inviato da LMCH

...
Dire "un umano avrebbe fatto errori simili" non risolve il problema di base (se certi lavori li fai fare ad un essere umano, non ti fidi ciecamente del primo che capita come invece succede di fatto con i LLM).

E per quest'ultima considerazione ci vuole uno psicologo,
agli umani piace illudersi e sognare, si fidano "because magic",
come quelli che credono che il Tesla Vision, senza Lidar, ma con 4 telecamere CMOS del caz, magicamente vede più dell'occhio umano...