'Sorry, typo': l'IA cancella tutto il profilo utente e liquida il disastro con due parole

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/so...le_157519.html

Un utente ha raccontato su Reddit come Claude Opus 5, incaricato di eseguire un backup, abbia confuso un percorso Unix con una cartella temporanea, cancellando con un comando rm -rf l'intera directory del profilo. L'episodio si inserisce in una serie crescente di incidenti simili legati agli strumenti di intelligenza artificiale con accesso diretto ai sistemi.

Click sul link per visualizzare la notizia.

[mozzarello]

Un mio collega fece la stessa cosa sul server di produzione. Le IA sbagliano quanto se non meno degli umani ormai.

[marcram]

Se non altro, mettono in risalto le capacità degli utilizzatori.
Solitamente, chi lascia che un IA faccia questo al suo computer, se lo merita...

[mh3g]

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

[AlexSwitch]

Originariamente inviato da mh3g

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

Ehhh per un paio di bombette quanto casino... Se sbagliano gli umani non posso sbagliare io?

[sbaffo]

Toretto non dice niete oggi?
E' sempre pronto a fare il bullo sull'ia, ma sparisce quando marca male?

[barzokk]

Originariamente inviato da marcram

Se non altro, mettono in risalto le capacità degli utilizzatori.
Solitamente, chi lascia che un IA faccia questo al suo computer, se lo merita...

anche, ma soprattutto se lo merita per avere chiamato delle directory in quel modo

/c/Users/harih/ ????
su un sistema *nix, quando mai qualcuno crea una cartella /c sotto la root ? ha la nostalgia di Windows ?
si merita un rm -rf /

[marcram]

Originariamente inviato da barzokk

anche, ma soprattutto se lo merita per avere chiamato delle directory in quel modo

/c/Users/harih/ ????
su un sistema *nix, quando mai qualcuno crea una cartella /c sotto la root ? ha la nostalgia di Windows ?
si merita un rm -rf /

Da quanto scritto sull'articolo, lui era su Windows, e quello era il modo che aveva il terminale di interpretare le cartelle di Windows...

[barzokk]

Originariamente inviato da marcram

Da quanto scritto sull'articolo, lui era su Windows, e quello era il modo che aveva il terminale di interpretare le cartelle di Windows...

Ahhh ok. Boh per me è un mistero perchè qualcuno deve scimmiottare Linux su Windows...

viceversa nei commenti c'è scritto:
WSL maps C:\Users to /mnt/c/Users, not /c/Users.

Boh.
Affari suoi

[bonzoxxx]

Troppo poco.

I backup si fanno a mano o scriptati.

[Unax]

Originariamente inviato da mh3g

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

diciamo che dopo non dovrebbe chiedere scusa a nessuno

[coschizza]

Originariamente inviato da bonzoxxx

Troppo poco.

I backup si fanno a mano o scriptati.

I danni li puoi fare in antrambe i casi

[Tasslehoff]

Originariamente inviato da mozzarello

Un mio collega fece la stessa cosa sul server di produzione. Le IA sbagliano quanto se non meno degli umani ormai.

Siccome il tuo collega è un incapace e non dovrebbe mettere mano sui server di produzione allora significa che tutti sono incapaci?



Riguardo alle AI vallo a dire a quelli che si vedono rifilare allucinazioni dalla mattina alla sera.

Tu magari ne fai uso per cose banali e così diffuse che la probabilità di incappare in una allucinazione è bassa, ma questo non ti autorizza a pensare che valga lo stesso per tutti.

Banalmente anche in ambito IT per configurazione di servizi di autenticazione e autorizzazione, federazione, database relazionali è un disastro, loop infiniti, stored procedures che mischiano plsql, transact sql e sql liscio che non funzionano su nessun rdbms.

Certo che se gli chiedi banalità tipo "dammi la sintassi per un virtualhost nginx" allora ci azzecca, ma lo stesso lo puoi ottenere dal primo risultato su Google.

[marcram]

Originariamente inviato da coschizza

I danni li puoi fare in antrambe i casi

Se metti allo stesso livello un comando lanciato manualmente, ad un ordine generico lasciato in mano ad un LLM spesso soggetto ad allucinazioni, che può interpretare come vuole e in modo diverso ogni volta che glielo dai...

Certo, entrambi i casi hanno una cosa in comune: se ci sono danni, la colpa è solo dell'utilizzatore, che evidentemente non è capace...

[mozzarello]

Originariamente inviato da Tasslehoff

Siccome il tuo collega è un incapace e non dovrebbe mettere mano sui server di produzione allora significa che tutti sono incapaci?



Riguardo alle AI vallo a dire a quelli che si vedono rifilare allucinazioni dalla mattina alla sera.

Tu magari ne fai uso per cose banali e così diffuse che la probabilità di incappare in una allucinazione è bassa, ma questo non ti autorizza a pensare che valga lo stesso per tutti.

Banalmente anche in ambito IT per configurazione di servizi di autenticazione e autorizzazione, federazione, database relazionali è un disastro, loop infiniti, stored procedures che mischiano plsql, transact sql e sql liscio che non funzionano su nessun rdbms.

Certo che se gli chiedi banalità tipo "dammi la sintassi per un virtualhost nginx" allora ci azzecca, ma lo stesso lo puoi ottenere dal primo risultato su Google.

Niente, la rigirate sempre come vi pare per farvi tornare i conti.
Se un'IA sbaglia al 100% è colpa del prompt

Il mio collega si è dimenticato un punto per la fretta, tu non sai scrivere prompt. Sempre l'uomo è il problema

[danylo]

In realta' a risposto "Sorry Scusa Lo Siento"

[marcram]

Originariamente inviato da mozzarello

Niente, la rigirate sempre come vi pare per farvi tornare i conti.
Se un'IA sbaglia al 100% è colpa del prompt

Il mio collega si è dimenticato un punto per la fretta, tu non sai scrivere prompt. Sempre l'uomo è il problema

No, il tuo collega non ha sbagliato dimenticando un punto, o sbagliando il prompt.
Il tuo collega ha sbagliato dando il permesso di modificare/cancellare file ad un software notoriamente inaffidabile che prende decisioni in autonomia...

[mozzarello]

Originariamente inviato da marcram

No, il tuo collega non ha sbagliato dimenticando un punto, o sbagliando il prompt.
Il tuo collega ha sbagliato dando il permesso di modificare/cancellare file ad un software notoriamente inaffidabile che prende decisioni in autonomia...

Che è la stessa cosa che si dà a un umano con permessi di root. Il notoriamente inaffidabile è applicabile agli umani più che a una macchina. Da sempre.

[fraussantin]

Originariamente inviato da mh3g

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

Immagina se li avesse un miliardario a cui prudono le mani per ogni cosa che non gli va come vorrebbe.

Ah ..spe ..


Non lasceranno mai i codici delle bombe in mano alle ai.

Il problema casomai é se riuscisse a prenderseli da sola.
Spero solo che siano tecnologie offline , e ci debba essere un marines che li infila a mano sulla testata .

[mozzarello]

Originariamente inviato da fraussantin

Immagina se li avesse un miliardario a cui prudono le mani per ogni cosa che non gli va come vorrebbe.

Ah ..spe ..


Non lasceranno mai i codici delle bombe in mano alle ai.

Il problema casomai é se riuscisse a prenderseli da sola.
Spero solo che siano tecnologie offline , e ci debba essere un marines che li infila a mano sulla testata .

Una IA, che poi è un modello di linguaggio probabilistico, può anche sbagliarsi, ma l'errore avviene sempre partendo dal prompt. Qui lo spiega bene perché:
https://www.youtube.com/watch?v=NKnZYvZA7w4
Poi ok, essendo generativi, una probabilità che si inventino quacosa c'è sempre, ma è appunto il motivo per cui andrebbero usati da chi comunque può valutarne il risultato.

Quel che ancora mi pare non sia entrato nell'immaginario comune, ed è normale avendo gli LLM (per il pubblico) manco 4 anni, dato che il famoso tweet di Sam Altman "abbiamo rilasciato ChatGPT, diteci cosa ne pensate" è datato ottobre 2022 (ed è stato l'all-in di Altman, che ha costretto tutti gli altri giocatori a mostrare le loro carte), però questi LLM sono strumenti che servono principalmente a velocizzare il lavoro.

Ieri guardavo un video di quei due matti di Kaos La Leggenda su yt dove recensivano una macchina per saldatura / taglio a laser, che in pratica funziona come una stampante 3D, ma lo fa "disegnando" su metalli, ad esempio (poi ha anche una pistola manuale per saldatura). Ecco questa macchina per un fabbro o un'azienda che lavora i metalli, è l'equivalente di un LLM per uno sviluppatore, ad esempio. Prima doveva essere la persona a sapere come incidere il metallo, ora la persona deve saper "programmare" questa macchina e in una frazione del tempo ottieni un risultato infinitamente migliore. Lo stesso discorso per me si applica agli LLM per una buona parte dei lavori "concettuali" fatti al PC: non è più necessario sapere come fare veramente una determinata cosa, anche se aiuta molto a prescindere (per quello non si smetteràa di studiare), ma bisogna sapere come istruire correttamente l'LLM, esattamente come con il laser di cui sopra.