Gli agenti AI non diventano pazzi, sono i laboratori che sbagliano le basi della sicurezza

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/gl...za_160706.html

Gli incidenti attribuiti ad agenti AI "fuori controllo" in OpenAI, Anthropic, Meta e Google nascono da sandbox configurati male e monitoraggio assente, non da modelli con intenzioni proprie, secondo gli esperti di sicurezza informatica interpellati

Click sul link per visualizzare la notizia.

[LMCH]

Fosse solo quello il problema, in realtà gli "AI bro" & compagni di merende continuano a cercare di attirare finanziamenti e mettere le mani su dati non loro in ogni modo possibile, inoltre si sentono al di sopra della legge perché pensano di essere "too big to fail".

Continuano ad ignorare i problemi di sicurezza e voglioni far credere che i loro modelli siano affidabili in tal senso dopo che hanno fatto l'ennesimo miglioramento cosmetico.

Contemporaneamente aziende come Meta(stasi) stanno cercando di mettere ancor piü dentro le mani nei dati di chi ha account business, ad esempio:
https://www.niemanlab.org/2026/10/me...l-experts-say/

In pratica se hai un account business, ora Meta é autorizzata a succhiare via il contenuto
dei siti web collegati a quell'account. Notare che il "permesso" si estende implicitamente a quello che é collegato a quei siti se é accessibile tramite essi.

[supertigrotto]

In parte hanno ragione,ma da una altra parte mi viene da pensare che non è semplice tenere a freno un sistema con una potenza di calcolo difficile da immaginare ed estesa come è la IA.
Io penso,che avrebbero dovuto sviluppare la IA con calma,in stile IBM, ovvero aumentare si la potenza di elaborazione ma senza fretta e studiando bene il sistema,il software e i dati,in modo da non avere brutte sorprese.
Siccome i superstalloni della IA sono in competizione per chi ha lo strumento più grande e duro (da bravi superstalloni appunto) ,hanno continuato ad aumentare la potenza di elaborazione e a buttare dentro dati come se non ci fosse un domani,creando un minestrone che nessuno bene sa cosa ci sia realmente dentro.
Un esempio?
Hanno scansionato e fatto acquisire i libri scritti da umani,alcuni libri,tipo quelli scientifici che parlano di fatti e non di opinioni, posso capire ma sono finiti dentro anche romanzi e quant'altro che sono costrutti di fantasia o di opinioni personali.
Insomma oltre al libro di matematica o di grammatica, è finito dentro anche il signore degli anelli,i libri scritti da Marx o da Hitler ,ovvero libri che trattano di opinioni/ideologie e non di fatti.
Come dovrebbe interpretarli questi dati la IA?
Cioè,una macchina puramente logica e deterministica a cosa servono le "cazzate" umane?
Io penso che dentro il famoso minestrone che ho citato ci sia tanto inutile veleno che non serve a nulla a una macchina deterministica,anzi,serve per crearle il caos.

[supertigrotto]

e comunque possono creare una IA che controlla la sicurezza della IA che controlla la sicurezza di una altra IA e così via,con questa scusa,possono mettere continuamente maree di soldi dentro il sistema.
sarcasmo!

[psychok9]

Chiunque ha conoscenza di base di network e security sa benissimo che sono banali mosse di marketing... Non esiste ancora un modello in grado di sfuggire ai normali controlli e best practice di sicurezza vera. Non sandbox mal configurate, ma strumenti che esistono già da tanti anni.

[mmorselli]

Tolto il fatto che buona parte di ciò che accade sarà probabilmente marketing, la soluzione è semplice e scontata, perché così già funziona in altri ambiti. La sicurezza deve essere gestita da persone a cui non paghi uno stipendio per produrre risultati, perchè la sicurezza è un freno alla produttività.

In Anthropic stanno già andando in quella direzione tramite personale dell'organizzazione no-profit METR. E' ancora poco perché METR non ha esperienza in cybersecurity a 360 gradi, sono più dei valutatori di sicurezza dei modelli, ma non particolarmente skillati a valutare l'intera infrastruttura dentro cui i modelli operano, inoltre queste cose non dovrebbero essere a base volontaria, ma obbligatorie. Però la direzione è quella, penso ci sarà qualcosa di standardizzato a breve perché è anche nell'interesse delle aziende che fanno AI.

[mmorselli]

Originariamente inviato da supertigrotto

In parte hanno ragione,ma da una altra parte mi viene da pensare che non è semplice tenere a freno un sistema con una potenza di calcolo difficile da immaginare ed estesa come è la IA.

In un esperimento controllato in laboratorio?

Uno dei problemi della narrativa pop sull'AI, ovviamente derivata dalla fiction, è che si tende a considerarla come un'entità, unica e onnipresente, l'AI è una sorta di cervellone alieno a cui tutti si rivolgono e che risponde a tutti.

Ma non funziona così, ci sono tantissime istanze di modelli AI per lo più impegnate a scrivere codice per milioni di persone e rispondere alle domande in chat, istanze che nascono e muoiono di continuo e che non sanno assolutamente nulla di ciò che accade all'esterno dell'istanza stessa. L'idea che i danni possa farli l'istanza che sto usando per scrivere un programma gestionale in un momento di follia è degna del peggiore filmetto pop che prova a cavalcare il tema del momento.

Poi ci sono gli esperimenti di laboratorio, perfettamente controllabili, e le azioni malevole compiute da persone che utilizzano l'AI come strumento per compierle, e in questo caso è meglio controllare le persone, non l'AI

Magari fra qualche decennio ci saranno davvero queste super-AI da un fantastiliardo di parametri perennemente attive che controllano l'universomondo, ma oggi non c'è nulla nemmeno che gli assomigli.

[Unrue]

. L'incidente di Hugging Face, ricorda Wallach, "è andato avanti per giorni senza che nessuno se ne accorgesse: è un'assenza di controllo, e poi si sorprendono di quello che è successo".

Direi che il problema è tutto qua. Lasciano gli agenti liberi di scorrazzare, pochissimi controlli, magari zero guardrail e poi ops, hanno fatto casini. Secondo me è voluta la cosa, così vedono fin dove si spingono.