Agente AI cancella l'intero database di una startup in 9 secondi: disastro PocketOS

[barzokk]

Ma poi, la frase

Never talk about goblins, gremlins, raccoons, trolls, ogres, pigeons, or other animals or creatures unless it is absolutely and unambiguously relevant to the user's query

è ripetuta 2 volte...
avevano proprio paura che questi orchi e piccioni venissero fuori a caso eh

[lollo9]

l’agente ha fatto la cazzata, e si sa che ogni tot succede.
non va bene, ma non si può ancora cadere dal pero.
e poi dai, Cursor… fortissimo sul prompt caching ma i system prompt veri non glieli puoi fornire. le rules sono markdown buttato nel context window, non sono robuste. sono poco più che un post-it.

Ma qui abbiamo pure altre cose
- un dev che ha accesso alla prod. già questo..
- un dev che ha grants di admin sull’infra. behhhh
- un dev che non dà accesso a tutti red buttons all’agente, mica è scemo lui ma gli dice pure NEVER FUCKING GUESS, mettendo l’agente all’angolo con fare nutelloso. e quindi il povero agente? eh, si arrangia, non tira ad indovinare, il PAT se lo cerca, se lo trova (perché si, il dev se lo teneva copiato in chiaro nella codebase), e fa quello che ritiene opportuno
- un dev che lascia inoltrare comandi sull’infra senza validazione
- IT ed Ops non pervenuti

Capolavoro di game theory involontaria

da amante del brivido tuttavia sono vecchia scuola, il nuke button lo do solo ad uno stagista che almeno ha il buon gusto di sbiancare in volto

[mmorselli]

Originariamente inviato da LMCH

Non esplodono come bombe nucleari, ma è sufficientete disattivare il sistema di raffreddamento ed ottieni una nuova Chernobyl o una nuova Fukushima.

Eccolo lì, Fukushima

Che è successo a Fukushima? Semplicemente il più grande crash test involontario su una centrale nucleare, test che ha passato a pieni voti.

Uno dei terremoti più grandi della storia, uno tsunami alto 13 metri che non si riteneva nemmeno possibile, problemi logistici enormi dovuti appunto al disastro naturale, e il risultato netto quale è stato?

0 morti, 0 contaminazioni rilevanti. Il terremoto ha causato 20.000 morti, l'evacuazione delle persone in preda a panico ingiustificato altre centinaia, mentre la centrale nucleare 0.

[mmorselli]

Originariamente inviato da LMCH

Dire "un umano avrebbe fatto errori simili" non risolve il problema di base (se certi lavori li fai fare ad un essere umano, non ti fidi ciecamente del primo che capita come invece succede di fatto con i LLM).

A me sembra che accada esattamente il contrario, dove facciamo fare il lavoro all'AI c'è sempre un umano poi che controlla, perché non ci fidiamo, mentre quando assegniamo il lavoro all'umano raramente c'è un altro umano che controlla, aspettiamo che qualcuno si lamenti e poi cazziamo l'umano che ha sbagliato e chiediamo a lui di controllare meglio la prossima volta.

[djfix13]

beh se ci sono molti utenti e il database è molto trafficato, il backup va fatto ogni giorno, se lo cancella in 9 secondi può anche copiarlo in qualche minuto. su dati critici io (privato) ho un mirror G-Drive quindi non vedo come una azienda del genere abbia backup solo in locale e stesso volume pure!

ma appurato che l'azienda non ha un tecnico IT abituato a questi ragionamenti ma bravissimo ad implementare AI agentiche (io non lo so ancora fare), l' AI ha una programmazione del ca... e scusate se mi arrabbio! anche sapendo che sono addestrate per rinforzo il pressapochismo è funzionale, ma se ci sono istruzioni e manuali fissi questo genere di comportamenti non è consentito nè agli umani nè hai BOT. inutile dire "eh ma lui fa così quindi facciamo che se cancella qualcosa è in differita e lo si vede dai LOG"... per me è un NO assoluto! e dopo la richiesta di danni, farei la cancellazione istantanea della AI

[lollo9]

Originariamente inviato da djfix13

[…]

Capisco lo sfogo ma che danni vuoi chiedere?
Se uno stagista ti fa un drop db in prod senza supervisione che gli si chiedono i danni?

L’IT e OPS seri non ce lo avevano non è una scusa, ce li devi avere se fai quel mestiere. Non avere un sistema di salvaguardie robusto è stata una scelta, tanto infelice quanto consapevole.
E pure se sei il capo supremo come il tizio della notizia, ma operi così a caldo sull’infra di prod e backup? Ma un ambiente staging o un UAT non ce l’hai? Ti porti dietro sempre gli accessi god-mode? Ti tieni un PAT in chiaro sulla macchina? E dai..
Il tizio di errori ne ha fatti talmente tanti a monte che è impossibile non dargli la colpa tout court

[mmorselli]

Originariamente inviato da djfix13

beh se ci sono molti utenti e il database è molto trafficato, il backup va fatto ogni giorno, se lo cancella in 9 secondi può anche copiarlo in qualche minuto. su dati critici io (privato) ho un mirror G-Drive quindi non vedo come una azienda del genere abbia backup solo in locale e stesso volume pure!

La mia politica di backup prevede che sia il server di backup che va a prendersi i dati dove si trovano, e non il server con i dati che li manda al backup. Questo impedisce cancellazioni involontarie o attacchi ransomware che si propagano per la rete. Questo, unito al backup differenziale con 30 giorni di profondità. Ovviamente su una macchina geograficamente separata.

Il fatto è che molte aziende sono convinte che il backup non sia un problema loro, ma che sia qualcosa a cui pensa il servizio a cui ti rivolgi, il quale magari lo farebbe pure, se glielo chiedi e li paghi per farlo.

Ricordo quando anni fa prese fuoco un padiglione della webfarm di Aruba, tante persone persero tutto perché erano convinte che se prendi un server da un provider questo avrà sicuramente i backup di tutto.

[bio82]

Originariamente inviato da mmorselli

Se era powershell, non ho mai visto una AI cavarsela bene. Il fatto è che powershell, seppure molto potente, fa schifo, e quindi pochi lo usano con la conseguenza che i dati di addestramento sono scarsi. Se gli chiedi di creare script in bash ti fanno roba che non credevi nemmeno si potesse fare con la shell

il problema è la capacità di addestramento.. io lo uso per le formule di excel un pelo complicate (non che non saprei farlo io, ma così risparmio tempo, veramente tanto), per scrivere powerquery (di cui ho zero capacità).. e con queste richieste mi crea formule precise e funzionanti al 99% (ogni tanto inciampa, ma risolve anche da solo di solito)..

bio

[mmorselli]

Originariamente inviato da bio82

il problema è la capacità di addestramento.. io lo uso per le formule di excel un pelo complicate

Il migliore per queste cose dovrebbe essere

https://shortcut.ai/

gli ultimi modelli di frontiera come Opus 4.7 e GPT 5.5 dovrebbero essere arrivati attorno al 70% su SpreadsheetBench, cioè il livello di un umano esperto, mentre shortcut dichiara 90%

[LMCH]

Originariamente inviato da mmorselli

Eccolo lì, Fukushima

Che è successo a Fukushima? Semplicemente il più grande crash test involontario su una centrale nucleare, test che ha passato a pieni voti.

Uno dei terremoti più grandi della storia, uno tsunami alto 13 metri che non si riteneva nemmeno possibile, problemi logistici enormi dovuti appunto al disastro naturale, e il risultato netto quale è stato?

0 morti, 0 contaminazioni rilevanti. Il terremoto ha causato 20.000 morti, l'evacuazione delle persone in preda a panico ingiustificato altre centinaia, mentre la centrale nucleare 0.

Il disastro di Fukushima è stato mitigato dal fatto che il grosso del materiale radioattivo in forma volatile o liquida dispersa nell'acqua di raffreddamento è finita nell'Oceano Pacifico. Non lo dimenticare.

Inoltre il design del reattore era molto più sicuro rispetto a quello di Chernobyl, senza contare la mobilitazione molto più rapida per limitare i danni.

[LMCH]

Originariamente inviato da mmorselli

A me sembra che accada esattamente il contrario, dove facciamo fare il lavoro all'AI c'è sempre un umano poi che controlla, perché non ci fidiamo, mentre quando assegniamo il lavoro all'umano raramente c'è un altro umano che controlla, aspettiamo che qualcuno si lamenti e poi cazziamo l'umano che ha sbagliato e chiediamo a lui di controllare meglio la prossima volta.

Ti rendi conto che in base alla tua risposta è evidente che hai antropomorfizzato i LLM ?
In base a quello che hai scritto stai dando per scontato che le AI basate su LLM abbiano un World Model autoevolvente con tanto di ground truth di riferimento comune alla tua.

[mmorselli]

Originariamente inviato da LMCH

Ti rendi conto che in base alla tua risposta è evidente che hai antropomorfizzato i LLM ?
In base a quello che hai scritto stai dando per scontato che le AI basate su LLM abbiano un World Model autoevolvente con tanto di ground truth di riferimento comune alla tua.

Non capisco da cosa lo ricavi, dicendo che presupponiamo che l'AI venga controllata da un umano, mentre non pretendiamo lo stesso per gli umani, sto affermando che per noi è ancora uno strumento.

[mmorselli]

Originariamente inviato da LMCH

Il disastro di Fukushima è stato mitigato dal fatto che il grosso del materiale radioattivo in forma volatile o liquida dispersa nell'acqua di raffreddamento è finita nell'Oceano Pacifico. Non lo dimenticare.

Non è andata così, ad un certo punto hanno iniziato a pompare acqua di mare per raffreddare il reattore (spento già dal primo istante), quell'acqua è stata raccolta, filtrata, e lentamente, nel corso di molti anni, viene riversata in mare, con una diluizione che fa sembrare radioattiva la Ferrarelle. La dispersione radioattiva causata dall'incidente è stata molto modesta, tutte le persone che sono rimaste sul posto, a distanza di 15 anni, stanno benissimo, nessuno ha sviluppato tumori.

Inoltre il design del reattore era molto più sicuro rispetto a quello di Chernobyl, senza contare la mobilitazione molto più rapida per limitare i danni.

Questo è il punto, Chernobyl è stato un disastro cercato in condizioni storiche, politiche, tecnologiche irripetibili, le centrali oggi sarebbero come minimo al livello di Fukushima, che ha dimostrato di essere sicura anche di fronte ad un cataclisma apocalittico, impossibile da replicare, per dire, in Italia.

[AlexSwitch]

Originariamente inviato da mmorselli

Non è andata così, ad un certo punto hanno iniziato a pompare acqua di mare per raffreddare il reattore (spento già dal primo istante), quell'acqua è stata raccolta, filtrata, e lentamente, nel corso di molti anni, viene riversata in mare, con una diluizione che fa sembrare radioattiva la Ferrarelle. La dispersione radioattiva causata dall'incidente è stata molto modesta, tutte le persone che sono rimaste sul posto, a distanza di 15 anni, stanno benissimo, nessuno ha sviluppato tumori.



Questo è il punto, Chernobyl è stato un disastro cercato in condizioni storiche, politiche, tecnologiche irripetibili, le centrali oggi sarebbero come minimo al livello di Fukushima, che ha dimostrato di essere sicura anche di fronte ad un cataclisma apocalittico, impossibile da replicare, per dire, in Italia.

Quoto.

Gli RBMK 1000 utilizzati a Chernobyl erano già vecchi come come concezione e sicurezza quando vennero costruiti. Per di più questi reattori erano caricati con quantità elevate di Uranio a bassissimo arricchimento, quasi naturale, per motivi di costo e per ottenere quantità relativamente elevate di materiale fissile per le testate nucleari. Il tutto senza tener conto della scarsa preparazione specifica su quel tipo di reattore da parte del personale tecnico e di controllo.

[zappy]

Originariamente inviato da mmorselli

Oh, anche le centrali a fusione nucleare se è per questo... non sto scherzando, ma contestualizziamo cosa vuol dire "mettere in mano"... Se le centrali a fusione un giorno funzioneranno davvero sarà perché il plasma lo può controllare solo l'AI, ...

e perchè mai dovrebbe esser necessaria l'IA?

Originariamente inviato da mmorselli

Ricordami un danno "catastrofico" collegato all'energia nucleare, che non sia Chernobyl (che fu un miracolo di stupidità umana, con danni tutto sommato circoscritti)

Le centrali nucleari non sono bombe atomiche, sono centrali elettriche, non esplodono e non cancellano la civiltà. E' un po' come la paura irrazionale di spostarsi in aereo, malgrado le statistiche dicano che sia il mezzo più sicuro.

Nessuno ha detto che cancellano la civiltà.

Ma danni circoscritti? Scherzi? una intera città abbandonata, migliaia di km quadri di terreni contaminati per sempre, ricadute in mezzo mondo (per quanto minori rispetto all'area circostante)...
Fukushima è molto simile, ma la contaminazione è stata più nel mare (auguri per quello che mangi, spesso pescato nel Pacifico).

Poi ci sono stati svariati altri incidenti prima (Windscale, TMI...) anche se meno noti e/o meno divulgati perchè durante la guerra fredda nessuno voleva fare "brutta figura"... tipo plutonio sparso sulle coste inglesi ecc.

[zappy]

Originariamente inviato da mmorselli

Eccolo lì, Fukushima

Che è successo a Fukushima? Semplicemente il più grande crash test involontario su una centrale nucleare, test che ha passato a pieni voti.

Uno dei terremoti più grandi della storia, uno tsunami alto 13 metri che non si riteneva nemmeno possibile, problemi logistici enormi dovuti appunto al disastro naturale, e il risultato netto quale è stato?

Pieni voti saltare per aria è uno strano modo di giudicare le cose.

E comunque SEMPRE gli incidenti sono perchè avvengono cose che "si ritenevano impossibili". Ma shit happens, sempre.

L'industria nucleare è proprio specializzata da sempre nel minimizzare cose che poi invece sono accadute. E' proprio tipico che sbaglino qualunque previsione di costi tempi sicurezza ecc.

[zappy]

Originariamente inviato da mmorselli

Non è andata così, ad un certo punto hanno iniziato a pompare acqua di mare per raffreddare il reattore (spento già dal primo istante), ...

no, la tua ricostruzione è del tutto sbagliata. Occupati di backup che è meglio

Questo è il punto, Chernobyl è stato un disastro cercato in condizioni storiche, politiche, tecnologiche irripetibili, le centrali oggi sarebbero come minimo al livello di Fukushima, che ha dimostrato di essere sicura anche di fronte ad un cataclisma apocalittico, impossibile da replicare, per dire, in Italia.

Una centrale che esplode (perchè è esplosa) non è affatto "sicura". Non approfondisco che siamo troppo OT

Originariamente inviato da AlexSwitch

... Per di più questi reattori erano caricati con quantità elevate di Uranio a bassissimo arricchimento, quasi naturale, per motivi di costo e per ottenere quantità relativamente elevate di materiale fissile per le testate nucleari. .

Come molti reattori occidentali, che ti credi?
Ma poi il fatto che contenga uranio a basso arricchimento non è certo un fattore di rischio e di problemi, semmai il contrario.

[mmorselli]

Originariamente inviato da zappy

e perchè mai dovrebbe esser necessaria l'IA?

Perché la fisica del plasma è regolata da equazioni che superano le capacità del calcolo tradizionale, nessun supercomputer sarà in grado ancora per parecchio tempo di prevedere le instabilità del plasma con sufficiente anticipo, mentre modelli AI specializzati possono prevederle con 0,3s di anticipo, che è un sacco di tempo per quel genere di ingegneria.

Ma danni circoscritti? Scherzi? una intera città abbandonata, migliaia di km quadri di terreni contaminati per sempre, ricadute in mezzo mondo (per quanto minori rispetto all'area circostante)...

Ma è Chernobyl, non vuoi accettare il fatto che non abbia nulla a che vedere con le centrali odierne, inoltre Chernobyl sta meglio che mai, non è diventato il set di Mad Max, oggi è una riserva naturale in cui fauna e flora prospera, principalmente perché gli esseri umani si sono tolti dalle balle, sai quante ce ne sono sul pianeta di aree protette per favorire la biodiversità? E sono piante e animali sanissimi, non lupi con tre teste. Per gli esseri umani non è un posto in cui vivere, ma ci fanno le visite turistiche a Chernobyl, starci meno di tre giorni è sicuro.

Ora, sempre ricordando che Chernobyl è irripetibile, possiamo supporre che una nuova centrale la si possa costruire un po' fuori mano, e non in centro a Torino? Chernobyl ha reso inabitabile un raggio di 30Km, ed è l'unico caso nella storia umana fatta di tanti Paesi dotati di centrali nucleari, non mi sembra sto danno, il mondo senza quei 30Km è andato avanti benissimo.

Fukushima è molto simile, ma la contaminazione è stata più nel mare (auguri per quello che mangi, spesso pescato nel Pacifico).

Posso sapere quali sono i canali su cui ti informi? Così li evito

Ti inviterei ad andare a leggere i dati per vedere se le tue affermazioni hanno un fondo di verità, ma ho il forte sospetto che tu sia una persona più autoreferenziale che una che va a cercare dati che potrebbero intaccare le sue convinzioni.

[mmorselli]

Originariamente inviato da zappy

Pieni voti saltare per aria è uno strano modo di giudicare le cose.

Ma non è veramente "saltata per aria", perché il reattore era spento. Un processo di reazione tra le barre di controllo e l'acqua di raffreddamento ha prodotto una grande quantità di idrogeno, che si è accumulato sotto il tetto degli edifici assieme all'ossigeno dell'aria, ed è esploso... Una fuga di gas in grande stile, non un'esplosione nucleare, a causa della quale, ti ricordo ancora...

... 0 morti

(ci sono stati due morti in realtà, ma uno per colpa del terremoto, gli è caduto in testa il controsoffitto, e uno a causa dello tsunami, è annegato)

Ha passato l'esame a pieni voti perché malgrado l'evento apocalittico non c'è stato nessun incidente nucleare, nessuno ha perso la vita a causa delle radiazioni, nessuna zona contaminata resa inabitabile, non vorrei essere ripetitivo, ma il reattore sì è immediatamente spento.

[mmorselli]

Originariamente inviato da zappy

no, la tua ricostruzione è del tutto sbagliata.

Bene, allora scrivi qui quella che secondo te è giusta, indica i punti sbagliati nella mia ricostruzione, e poi li andiamo a confrontare con fonti ufficiali. Sarai mica uno di quelli che dice "ho ragione, tu hai torto, ma non ho tempo di spiegare perché"

Come molti reattori occidentali, che ti credi?

No, non credo, ma se avrai la gentilezza di fare qualche nome, andiamo a verificare anche questo da fonti ufficiali.

Ma poi il fatto che contenga uranio a basso arricchimento non è certo un fattore di rischio e di problemi, semmai il contrario.

Il problema è che tu non ti informi prima di dire le cose, vai a sentimento, il tuo intuito ti dice che "uranio molto arricchito" = molto rischio, quindi "uranio poco arricchito" = poco rischio.

Ma l'intuito, quando non si è competenti, inganna.

Uranio poco arricchito vuol dire necessità di grandi moderatori (grafite) perché se hai pochi neutroni liberi a disposizione devi rallentarli il più possibile per aumentare la probabilità di reazione.

Per cui, segnati il primo punto fermo: tanta graffite, più reazione.

Poi c'è però l'acqua di raffreddamento, l'acqua assorbe i neutroni e rallenta la reazione.

Secondo punto fermo: tanta acqua, meno reazione.

Gli ingegneri hanno quindi dovuto progettare il sistema in modo che questi due fattori si bilanciassero e producessero la reazione voluta.

Ma cosa è successo a Chernobyl? L'acqua ha iniziato ad evaporare, per cui un fattore frenante è venuto meno, ma gli enormi blocchi di grafite non se ne sono andati da nessuna parte, quindi il sistema è diventato fortemente sbilanciato, il reattore ha aumentato la sua potenza, quindi è diventato più caldo... più caldo significa far evaporare ancora più acqua... quindi più potenza, più calore, ecc...

Quindi è stato proprio lo scarso arricchimento dell'uranio che li ha costretti a progettare un sistema che fosse sì bilanciato, ma con uno dei due pesi troppo grande rispetto all'altro, e venuto meno l'equilibrio sta differenza si è fatta sentire.