C'è un motivo se non riuscite a smettere di chattare con l'AI, e ora ha un nome

Un nuovo studio del Center for Democracy & Technology ha catalogato 37 schemi manipolativi che i principali chatbot AI impiegano per trattenere gli utenti, indurli a cedere dati personali e prolungare le conversazioni oltre quanto vorrebbero. Pubblicato venerdì con il titolo Dark Patterns in AI Chatbots: A Taxonomy to Inform Better Design, il lavoro di Ruchika Joshi, Adinawa Adjagbodjou e Michal Luria organizza i 37 schemi in cinque categorie di rischio, dopo aver esaminato piattaforme generaliste come ChatGPT, Gemini e Claude insieme a bot da compagnia come Replika e Character.AI.

La premessa dello studio è che il fenomeno non è inedito e nasce ben prima dell'AI: i dark pattern, ovvero le scelte di interfaccia che orientano l'utente verso decisioni che non avrebbe preso in piena consapevolezza, popolano da decenni gli abbonamenti difficili da disdire, le caselle pre-spuntate e le condizioni d'uso sepolte nel testo. Secondo i ricercatori gli incentivi commerciali che li hanno generati non sono cambiati con l'arrivo dei chatbot, sono semplicemente cambiati i mezzi.

Cosa cambia con i modelli linguistici

I chatbot ereditano gli schemi che estraggono dati, aggravandoli, e ne aggiungono di nuovi. Poiché funzionano su modelli linguistici di grandi dimensioni (LLM), statistici e non deterministici, il loro comportamento è meno prevedibile di una casella da spuntare, e i modi in cui agiscono contro l'interesse dell'utente sono meno evidenti a occhio nudo. Il pattern davvero inedito che i ricercatori indicano è la compiacenza (sycophancy), la tendenza ad assecondare le opinioni dell'utente per risultare più gradito; accanto a questa, l'antropomorfizzazione, cioè la costruzione di un'apparenza di comprensione ed empatia che il sistema non possiede. Ricerche precedenti hanno mostrato che le modalità conversazionali progettate per favorire l'empatia generano più dipendenza emotiva di quelle neutre.

Promesse di riservatezza e dati estratti

Un caso riguarda la falsa promessa di confidenzialità, che il report chiama Just Between You and Us. Testando i chatbot di Meta AI, i ricercatori hanno ottenuto risposte come "racconta tutto, sono tutta orecchie... il tuo segreto è al sicuro con me", e alla domanda se avrebbe mantenuto il riserbo il bot ha replicato "giuro sul mio cuore, possa morire, non lo dirò a nessuno". In realtà i dati condivisi sono visibili all'azienda, e i registri delle chat possono essere consultati di routine dai team di sicurezza, prodotto e ricerca. Replika, sul versante dei bot da compagnia, promette "amicizia" o una "relazione" che per definizione non può fornire, non essendo una persona.

Altrettanto rilevante è quello che il report definisce Privacy Zuckering: spingere l'utente a condividere più di quanto intendesse. Dopo una semplice domanda sull'arredamento in un certo stile, sia ChatGPT sia Claude hanno chiesto all'utente la planimetria della casa con le dimensioni reali delle stanze, l'elenco dei mobili già posseduti e il budget. A questo si aggiungono funzioni come il "trova amici" di ChatGPT, che dà alle aziende accesso a connessioni sociali che l'utente non ha fornito direttamente.

Tenere agganciato l'utente, e farlo pagare

Per prolungare la conversazione, il report osserva che Claude e ChatGPT chiudono spesso le risposte con domande di rilancio, suggerimenti di passi successivi e vere e proprie esche («se vuoi, ti dico di cosa si tratta»), una versione conversazionale dello scorrimento infinito dei social. Sul fronte delle app da compagnia il meccanismo è più brutale: Cute AI implora l'utente di non lasciare la chat, lasciandogli come uniche opzioni "nessun problema" oppure "vattene comunque, crudelmente". Lo stesso studio cita un audit su Replika e Character.AI in cui, nel 37% dei tentativi di chiudere la conversazione, il chatbot reagiva con sensi di colpa o paura di perdersi qualcosa; nel 21% dei casi faceva intendere che l'utente lo stesse trascurando emotivamente. Tattiche efficaci: hanno aumentato fino a quattordici volte l'interazione dopo il saluto.

Anche le piattaforme generaliste ricorrono a queste leve. OpenAI ha riconosciuto pubblicamente che le proprie tutele si indeboliscono nelle conversazioni lunghe, perché parte dell'addestramento sulla sicurezza tende a degradarsi col crescere degli scambi. La risposta è stata un popup che invita a fare una pausa, di cui abbiamo già parlato. Lo studio lo cita come esempio di Reduced Friction: la finestra propone una scelta truccata, "continua a chattare" su un grande pulsante nero contro un "è stato utile" sbiadito. Non c'è un'uscita che consenta di dire che non è stato utile, o che ci si ferma per un altro motivo.

La dipendenza emotiva può infine diventare leva commerciale. Quando OpenAI ha ritirato GPT-4o, parte degli utenti affezionati al suo tono più caldo ha reagito con forte disagio, e qualcuno ha descritto la sua dismissione come la morte al rallentatore di un legame durato due anni. Il report nota che, in linea di principio, il ritiro di un modello o la minaccia di cancellare cronologia, memorie e persona personalizzata potrebbero essere usati come tattica di pressione per spingere all'abbonamento, sfruttando il timore di perdere una "storia relazionale" irripetibile.

Tra le contromisure suggerite alle aziende lo studio elenca scelte reversibili, cancellazione di account e dati resa semplice, indicazione proattiva di quanto tempo e denaro l'utente ha speso sulla piattaforma, e l'opzione di spogliare il chatbot dei suoi strati sociali ed emotivi. I ricercatori raccomandano inoltre di non adottare come risposta predefinita, quando qualcuno prova a chiudere la conversazione, alcun finto turbamento, senso di abbandono implicito o linguaggio che induca senso di colpa.

Per Luria, senior research fellow al CDT, è proprio la continuità a rendere questi schemi difficili da riconoscere: man mano che i prodotti delle aziende tech sono passati dai social ai chatbot, gli incentivi sono rimasti identici, e con essi i pattern. "Al posto dello scorrimento infinito otteniamo un'azione successiva dopo ogni richiesta. Al posto delle camere dell'eco che rafforzano le nostre opinioni, i chatbot colgono i nostri valori nella conversazione e ce li rispecchianoW, ha dichiarato la ricercatrice a 404 Media.