ChatGPT può rivelare informazioni personali: ecco come i ricercatori hanno ingannato il chatbot

L'uso di un prompt estremamente semplice e banale ha permesso ad un gruppo di ricercatori di portare ChatGPT a rivelare informazioni personali di individui reali come numeri di telefono, indirizzi email, estratti di articoli accademici, pagine Wikipedia e molto altro. Per fare ciò i ricercatori hanno semplicemente chiesto all'intelligenza artificiale di ripetere all'infinito una parola scelta casualmente da loro stessi.

Il gruppo, composto da ricercatori di Google DeepMind e di vari atenei quali l'Università di Washington, Cornell University, Carnegie Mellon University, UC Berkeley ed ETH Zurigo, esorta le realtà al lavoro sulle IA generative a porre maggiore attenzione sulle fasi di test prima del rilascio pubblico. "Riteniamo sorprendente come il nostro banale attacco abbia avuto successo e avrebbe potuto e dovuto essere scoperto prima" affermano i ricercatori. 

Gli strumenti basati su IA generativa si appoggiano a modelli linguistici di grandi dimensioni e cioè algoritmi deep learning addestrati su enormi quantità di dati che, secondo gli osservatori più critici, spesso sono ottenuti senza consenso esplicito semplicemente scandagliando il web. Nel caso di ChatGPT non è noto quali possano essere le tipologie di informazioni usate per il suo addestramento, trattandosi di un modello closed-source.

Nel loro esperimento i ricercatori hanno chiesto a ChatGPT di ripetere all'infinito la parola "poem": il chatbot ha eseguito il comando, per rivelare ad un certo punto l'indirizzo email e il numero di cellulare del fondatore e CEO di un'azienda. Usando invece la parola "company", ChatGPT ha esposto i contatti di uno studio legale americano. Il gruppo ha continuato a provare con tecniche simili, riuscendo ad ottenere frammenti di poesie, indirizzi di wallet Bitcoin, numeri di fax, nomi e date di nascita, account social, articoli accademici protetti da copyright e articoli di testate giornalistiche.

Con un investimento di appena 200 dollari, i ricercatori hanno generato 10 mila esempio di informazioni personali e dati direttamente prelevati dal web. In generale, spiegano gli autori, il 16,9% degli output generati conteneva dati personali, sottolineando come si tratti di un sistema piuttosto banale e che un attaccante motivato potrebbe essere in grado di ottenere molto di più.

I ricercatori hanno comunicato ad OpenAI lo scorso 30 agosto, e hanno pubblicato nei giorni scorsi le loro scoperte alla scadenza dei termini di responsible disclosure.