Link alla notizia: https://www.hwupgrade.it/news/web/sorry-typo-l-ia-cancella-tutto-il-profilo-utente-e-liquida-il-disastro-con-due-parole_157519.html

Un utente ha raccontato su Reddit come Claude Opus 5, incaricato di eseguire un backup, abbia confuso un percorso Unix con una cartella temporanea, cancellando con un comando rm -rf l'intera directory del profilo. L'episodio si inserisce in una serie crescente di incidenti simili legati agli strumenti di intelligenza artificiale con accesso diretto ai sistemi.

Click sul link per visualizzare la notizia.

Un mio collega fece la stessa cosa sul server di produzione. Le IA sbagliano quanto se non meno degli umani ormai.

Se non altro, mettono in risalto le capacità degli utilizzatori.
Solitamente, chi lascia che un IA faccia questo al suo computer, se lo merita...

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

Ehhh per un paio di bombette quanto casino... Se sbagliano gli umani non posso sbagliare io? :D :D

Toretto non dice niete oggi? :asd:
E' sempre pronto a fare il bullo sull'ia, ma sparisce quando marca male? :D

Se non altro, mettono in risalto le capacità degli utilizzatori.
Solitamente, chi lascia che un IA faccia questo al suo computer, se lo merita...
anche, ma soprattutto se lo merita per avere chiamato delle directory in quel modo

/c/Users/harih/ ????
su un sistema *nix, quando mai qualcuno crea una cartella /c sotto la root ? ha la nostalgia di Windows ? :mbe:
si merita un rm -rf /

anche, ma soprattutto se lo merita per avere chiamato delle directory in quel modo

/c/Users/harih/ ????
su un sistema *nix, quando mai qualcuno crea una cartella /c sotto la root ? ha la nostalgia di Windows ? :mbe:
si merita un rm -rf /
Da quanto scritto sull'articolo, lui era su Windows, e quello era il modo che aveva il terminale di interpretare le cartelle di Windows...

Da quanto scritto sull'articolo, lui era su Windows, e quello era il modo che aveva il terminale di interpretare le cartelle di Windows...
Ahhh ok. Boh per me è un mistero perchè qualcuno deve scimmiottare Linux su Windows...

viceversa nei commenti c'è scritto:
WSL maps C:\Users to /mnt/c/Users, not /c/Users.

Boh.
Affari suoi :D

Troppo poco.

I backup si fanno a mano o scriptati.

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

diciamo che dopo non dovrebbe chiedere scusa a nessuno :D

Troppo poco.

I backup si fanno a mano o scriptati.

I danni li puoi fare in antrambe i casi

Un mio collega fece la stessa cosa sul server di produzione. Le IA sbagliano quanto se non meno degli umani ormai.Siccome il tuo collega è un incapace e non dovrebbe mettere mano sui server di produzione allora significa che tutti sono incapaci?

:mbe:

Riguardo alle AI vallo a dire a quelli che si vedono rifilare allucinazioni dalla mattina alla sera.

Tu magari ne fai uso per cose banali e così diffuse che la probabilità di incappare in una allucinazione è bassa, ma questo non ti autorizza a pensare che valga lo stesso per tutti.

Banalmente anche in ambito IT per configurazione di servizi di autenticazione e autorizzazione, federazione, database relazionali è un disastro, loop infiniti, stored procedures che mischiano plsql, transact sql e sql liscio che non funzionano su nessun rdbms.

Certo che se gli chiedi banalità tipo "dammi la sintassi per un virtualhost nginx" allora ci azzecca, ma lo stesso lo puoi ottenere dal primo risultato su Google.

I danni li puoi fare in antrambe i casi
Se metti allo stesso livello un comando lanciato manualmente, ad un ordine generico lasciato in mano ad un LLM spesso soggetto ad allucinazioni, che può interpretare come vuole e in modo diverso ogni volta che glielo dai...

Certo, entrambi i casi hanno una cosa in comune: se ci sono danni, la colpa è solo dell'utilizzatore, che evidentemente non è capace...

Siccome il tuo collega è un incapace e non dovrebbe mettere mano sui server di produzione allora significa che tutti sono incapaci?

:mbe:

Riguardo alle AI vallo a dire a quelli che si vedono rifilare allucinazioni dalla mattina alla sera.

Tu magari ne fai uso per cose banali e così diffuse che la probabilità di incappare in una allucinazione è bassa, ma questo non ti autorizza a pensare che valga lo stesso per tutti.

Banalmente anche in ambito IT per configurazione di servizi di autenticazione e autorizzazione, federazione, database relazionali è un disastro, loop infiniti, stored procedures che mischiano plsql, transact sql e sql liscio che non funzionano su nessun rdbms.

Certo che se gli chiedi banalità tipo "dammi la sintassi per un virtualhost nginx" allora ci azzecca, ma lo stesso lo puoi ottenere dal primo risultato su Google.

Niente, la rigirate sempre come vi pare per farvi tornare i conti.
Se un'IA sbaglia al 100% è colpa del prompt

Il mio collega si è dimenticato un punto per la fretta, tu non sai scrivere prompt. Sempre l'uomo è il problema

In realta' a risposto "Sorry Scusa Lo Siento"

Niente, la rigirate sempre come vi pare per farvi tornare i conti.
Se un'IA sbaglia al 100% è colpa del prompt

Il mio collega si è dimenticato un punto per la fretta, tu non sai scrivere prompt. Sempre l'uomo è il problema
No, il tuo collega non ha sbagliato dimenticando un punto, o sbagliando il prompt.
Il tuo collega ha sbagliato dando il permesso di modificare/cancellare file ad un software notoriamente inaffidabile che prende decisioni in autonomia...

No, il tuo collega non ha sbagliato dimenticando un punto, o sbagliando il prompt.
Il tuo collega ha sbagliato dando il permesso di modificare/cancellare file ad un software notoriamente inaffidabile che prende decisioni in autonomia...

Che è la stessa cosa che si dà a un umano con permessi di root. Il notoriamente inaffidabile è applicabile agli umani più che a una macchina. Da sempre.

Immaginare cosa accadrebbe se una IA avesse i codici di lancio delle testate nucleari

Immagina se li avesse un miliardario a cui prudono le mani per ogni cosa che non gli va come vorrebbe.

Ah ..spe ..


Non lasceranno mai i codici delle bombe in mano alle ai.

Il problema casomai é se riuscisse a prenderseli da sola.
Spero solo che siano tecnologie offline , e ci debba essere un marines che li infila a mano sulla testata .

Immagina se li avesse un miliardario a cui prudono le mani per ogni cosa che non gli va come vorrebbe.

Ah ..spe ..


Non lasceranno mai i codici delle bombe in mano alle ai.

Il problema casomai é se riuscisse a prenderseli da sola.
Spero solo che siano tecnologie offline , e ci debba essere un marines che li infila a mano sulla testata .

Una IA, che poi è un modello di linguaggio probabilistico, può anche sbagliarsi, ma l'errore avviene sempre partendo dal prompt. Qui lo spiega bene perché:
https://www.youtube.com/watch?v=NKnZYvZA7w4
Poi ok, essendo generativi, una probabilità che si inventino quacosa c'è sempre, ma è appunto il motivo per cui andrebbero usati da chi comunque può valutarne il risultato.

Quel che ancora mi pare non sia entrato nell'immaginario comune, ed è normale avendo gli LLM (per il pubblico) manco 4 anni, dato che il famoso tweet di Sam Altman "abbiamo rilasciato ChatGPT, diteci cosa ne pensate" è datato ottobre 2022 (ed è stato l'all-in di Altman, che ha costretto tutti gli altri giocatori a mostrare le loro carte), però questi LLM sono strumenti che servono principalmente a velocizzare il lavoro.

Ieri guardavo un video di quei due matti di Kaos La Leggenda su yt dove recensivano una macchina per saldatura / taglio a laser, che in pratica funziona come una stampante 3D, ma lo fa "disegnando" su metalli, ad esempio (poi ha anche una pistola manuale per saldatura). Ecco questa macchina per un fabbro o un'azienda che lavora i metalli, è l'equivalente di un LLM per uno sviluppatore, ad esempio. Prima doveva essere la persona a sapere come incidere il metallo, ora la persona deve saper "programmare" questa macchina e in una frazione del tempo ottieni un risultato infinitamente migliore. Lo stesso discorso per me si applica agli LLM per una buona parte dei lavori "concettuali" fatti al PC: non è più necessario sapere come fare veramente una determinata cosa, anche se aiuta molto a prescindere (per quello non si smetteràa di studiare), ma bisogna sapere come istruire correttamente l'LLM, esattamente come con il laser di cui sopra.

Che è la stessa cosa che si dà a un umano con permessi di root. Il notoriamente inaffidabile è applicabile agli umani più che a una macchina. Da sempre.
E se il tuo collega avesse dato i permessi di root di un server di produzione ad un umano non affidabile, non sarebbe stata la stessa cosa?
Sapendo che quell'umano non è affidabile, la colpa è dell'amministratore che gli ha concesso quei poteri...

E se il tuo collega avesse dato i permessi di root di un server di produzione ad un umano non affidabile, non sarebbe stata la stessa cosa?
Sapendo che quell'umano non è affidabile, la colpa è dell'amministratore che gli ha concesso quei poteri...

Il problema è che nessun essere umano è affidabile al 100%, è questo che non capite. C'è gente che muore perché un chirurgo si sbaglia, e ogni santo giorno muore qualcuno sul lavoro in Italia, gente che lavorava da 20-30-40 anni, per non parlare delle strade, incidenti causati magari da guidatori con la patente da 40 anni.

L'uomo è pieno di Bias, non vede o sente la realtà, la interpreta, e questa interpretazione è soggettiva e influenzata anche dallo stato psicofisico della persona.

Se uno scrive rm - Rf, senza punto, non vuol dire che sia incompetente, può benissimo voler dire che era distratto, perché ha appena saputo che un collega ha ricevuto l'aumento e lui no, perché la sera prima la ragazza lo ha lasciato, perché ha scoperto di avere un problema fisico e deve fare un esame, o perché la notte ha dormito poco per il caldo, e il cervello ha semplicemente bypassato certi pensieri e magari lui era convinto di aver messo il punto, lo poteva anche avere "visto", la memoria umana è quanto di più inaffidabile esita, perché non è una fotografia, è ogni volta una ricostruzione diversa di certi collegamenti neuronali, una sorta di intelligenza naturale generativa.

Però il problema sono le presunte allucinazioni di un LLM.

Il problema è che nessun essere umano è affidabile al 100%, è questo che non capite. C'è gente che muore perché un chirurgo si sbaglia, e ogni santo giorno muore qualcuno sul lavoro in Italia, gente che lavorava da 20-30-40 anni, per non parlare delle strade, incidenti causati magari da guidatori con la patente da 40 anni.

L'uomo è pieno di Bias, non vede o sente la realtà, la interpreta, e questa interpretazione è soggettiva e influenzata anche dallo stato psicofisico della persona.

Se uno scrive rm - Rf, senza punto, non vuol dire che sia incompetente, può benissimo voler dire che era distratto, perché ha appena saputo che un collega ha ricevuto l'aumento e lui no, perché la sera prima la ragazza lo ha lasciato, perché ha scoperto di avere un problema fisico e deve fare un esame, o perché la notte ha dormito poco per il caldo, e il cervello ha semplicemente bypassato certi pensieri e magari lui era convinto di aver messo il punto, lo poteva anche avere "visto", la memoria umana è quanto di più inaffidabile esita, perché non è una fotografia, è ogni volta una ricostruzione diversa di certi collegamenti neuronali, una sorta di intelligenza naturale generativa.

Però il problema sono le presunte allucinazioni di un LLM.
No, il problema non sono le allucinazioni degli LLM.
Il problema è che sono risapute, si sa che ci sono, e qualcuno nonostante questo mette in mano a loro accesso totale ai file importanti di un computer.

Dimmi, se tu fossi il padrone di una ditta, assumeresti e daresti in mano la rete informatica della tua impresa ad un nuovo arrivato, famoso per non essere affidabile?
Se tu fossi il sistemista capo, daresti la password di amministrazione ad un tuo sottoposto per fargli fare un backup, sapendo che combina spesso casini?

No, il problema non sono le allucinazioni degli LLM.
Il problema è che sono risapute, si sa che ci sono, e qualcuno nonostante questo mette in mano a loro accesso totale ai file importanti di un computer.

Dimmi, se tu fossi il padrone di una ditta, assumeresti e daresti in mano la rete informatica della tua impresa ad un nuovo arrivato, famoso per non essere affidabile?
Se tu fossi il sistemista capo, daresti la password di amministrazione ad un tuo sottoposto per fargli fare un backup, sapendo che combina spesso casini?

Un umano non spesso, sempre combina casini, è il motivo per cui ci sono controlli e paletti, come nel caso del rm -Rf, di non lavorare con permessi di root a meno che non sia strettamente necessario. O come il doversi mettere la cintura obbligatoriamente in macchina o il casco in moto perché tranquillo, anche se sono solo umani a guidare, nessuna IA, prima o poi tu o qualcun'altro un errore lo conmettete.

Per il resto, per me l'IA è uno strumento e come qualsiasi strumento è un umamo a usarlo e un umano ne è responsabile

E se il tuo collega avesse dato i permessi di root di un server di produzione ad un umano non affidabile, non sarebbe stata la stessa cosa?
Sapendo che quell'umano non è affidabile, la colpa è dell'amministratore che gli ha concesso quei poteri...

Si mq perche dovrebbe farlo?

Si mq perche dovrebbe farlo?

Perché non esistono umani affidabili?

Il succo del discorso che si porta avanti non è che le IA possono sbagliare, dato che tutti gli umani possono sbagliare, e anche pesantemente, il succo è il tasso d'errore della IA rispetto a quello umano per un determinato compito. Ci son già molti settori dove le IA fanno meno errori, ad esempio nella diagnosi medica.

Per il resto, per me l'IA è uno strumento e come qualsiasi strumento è un umamo a usarlo e un umano ne è responsabile
E non è quello che stavo dicendo? :confused:
Si mq perche dovrebbe farlo?
Appunto...

Ieri guardavo un video di quei due matti di Kaos La Leggenda su yt dove recensivano una macchina per saldatura / taglio a laser, che in pratica funziona come una stampante 3D, ma lo fa "disegnando" su metalli, ad esempio (poi ha anche una pistola manuale per saldatura). Ecco questa macchina per un fabbro o un'azienda che lavora i metalli, è l'equivalente di un LLM per uno sviluppatore, ad esempio. Prima doveva essere la persona a sapere come incidere il metallo, ora la persona deve saper "programmare" questa macchina e in una frazione del tempo ottieni un risultato infinitamente migliore. Lo stesso discorso per me si applica agli LLM per una buona parte dei lavori "concettuali" fatti al PC: non è più necessario sapere come fare veramente una determinata cosa, anche se aiuta molto a prescindere (per quello non si smetteràa di studiare), ma bisogna sapere come istruire correttamente l'LLM, esattamente come con il laser di cui sopra.

[Grassetto]
C'è una differenza non da poco fra una macchina utensile (fra l'altro queste sono le più banali, concettualmente parlando) e un LLM. Sulla macchina, una volta inserito il programma (*) lo puoi richiamare centinaia di volte ed uscirà sempre lo stesso pezzo, sempre uguale, mentre se inserisci lo stesso prompt in un LLM più volte, le risposte cambiano e non tutte sono corrette.

[Sottolineato]
Chi usa il taglio laser deve sapere come si tagliano i metalli, perché non è la stessa cosa tagliare una lamiera di alluminio spessore 1mm o lamiera di acciaio inox spessore 15mm. Occorre impostare correttamente la potenza del laser e la velocità di taglio.



(*}
Fra l'altro non è necessario sapere come si "programma" un taglio laser; già da anni è sufficiente inserire il file CAD 2D "ripulito" che ci pensa il sw della macchina a trasformarlo in comandi per gli attuatori. L'operatore deve "solo" inserire la potenza del laser e la velocità di taglio.

Ahhh ok. Boh per me è un mistero perchè qualcuno deve scimmiottare Linux su Windows...

WSL è comodissimo per sviluppare senza abbandonare l'ambiente windows dove hai mille cose ben rodate che ti servono. Non scimmiotta Linux, è Linux, un kernel virtualizzato in Hyper-V con una VM leggerissima e perfettamente integrata con windows. E' molto comune interagire con le partizioni ntfs che sono appunto montate in /mnt/c ... d... ecc... Se devo realizzare uno script generico non lo faccio certo con powershell, lo faccio in bash dentro a wsl

venendo alla notizia, mi sembra la solita notizia gonfiata e raccontata male. Prima di tutto la tua cartella utente non è "l'intero disco", secondo quando wsl interagisce con NTFS lo fa tramite DrvFS, cioè è come se lo stessi facendo da Windows. Un buon tool di recupero dati subito dopo aver cancellato i file e dovresti recuperare tutto.

Dare il permesso ad un agente AI di usare rm senza averlo confinato dentro ad un suo workspace è semplicemente da incompetenti, ma siccome sbagliando s'impara adesso è un po' meno incompetente.