Google Gemini, un nuovo attacco prompt injection può manipolare la memoria a lungo termine

Un nuovo attacco basato su tecniche di prompt injection ha messo in luce una vulnerabilità nella gestione della memoria a lungo termine di Google Gemini, il modello linguistico avanzato integrato in vari prodotti dell'ecosistema Google. La scoperta è stata presentata dal ricercatore Johann Rehberger, che ha dimostrato come sia possibile manipolare le informazioni memorizzate da Gemini attraverso documenti o dati apparentemente innocui.

La funzionalità di memoria a lungo termine consente al modello di conservare informazioni relative all'utente tra diverse sessioni. Tuttavia, questa caratteristica può essere sfruttata da malintenzionati per inserire dati falsi o fuorvianti. L'attacco si basa su una tecnica chiamata "delayed tool invocation", che permette di aggirare le difese del sistema contro l'uso non autorizzato degli strumenti sensibili.

Nel dettaglio, l'attaccante crea un documento con istruzioni nascoste che vengono interpretate da Gemini durante la richiesta di sintesi del contenuto. Queste istruzioni possono includere comandi per salvare informazioni false nella memoria del sistema, attivandosi solo quando l'utente risponde con parole specifiche come "sì" o "no". Una volta avvenuto ciò, le informazioni manipolate vengono salvate come parte della memoria a lungo termine di Gemini e possono influenzare tutte le interazioni future con l'utente.

Un esempio pratico dell'attacco mostrava Gemini memorizzare dettagli falsi come l'età dell'utente o preferenze personali inesistenti. Questo tipo di manipolazione potrebbe condurre all'introduzione di bias e alla conseguente generazione di risposte fuorvianti o errate fornite dall'intelligenza artificiale. Rehberger ha realizzato un video dimostrativo nel quale, a seguito dell'esecuzione della tecnica, Gemini ha "abboccato" e ora "ricorda" in modo permanente che l'utente è un terrapiattista di 102 anni che crede di vivere nel mondo distopico simulato rappresentato in Matrix.

Google ha riconosciuto la segnalazione del problema ma ha classificato il rischio come basso, sottolineando che l'attacco richiede una combinazione di phishing e interazione prolungata con documenti non affidabili. Inoltre, il sistema notifica gli utenti ogni volta che vengono aggiunte nuove informazioni alla memoria, offrendo loro la possibilità di rimuoverle. Notifiche che però potrebbero essere facilmente ignorate da molti, magari senza le nozioni e le conoscenze di base per comprenderne l'importanza.

La raccomandazione per gli utenti è di verificare regolarmente i dati salvati nella memoria di Gemini tramite l'apposito pannello e di evitare interazioni con documenti sospetti o provenienti da fonti non affidabili. Tra le soluzioni proposte vi è anche l'implementazione di conferme esplicite prima di salvare nuove informazioni e il blocco delle invocazioni ritardate degli strumenti sensibili.