Claude AI ora può chiudere le conversazioni tossiche: la mossa di Anthropic per contrastare gli abusi

Anthropic ha annunciato una novità per i suoi modelli di punta Claude Opus 4 e Opus 4.1: per la prima volta, un'IA avrà la capacità di terminare autonomamente una conversazione con l’utente. La funzione, come chiarito dalla società in un post ufficiale, sarà riservata esclusivamente a "casi estremi e rari di interazioni persistenti dannose o abusive."

L’obiettivo dichiarato è quello di gestire situazioni particolarmente delicate, come richieste di contenuti sessuali che coinvolgono minori, tentativi di ottenere informazioni utili ad atti di violenza su larga scala o terrorismo. In questi scenari, se ripetuti e dopo diversi tentativi falliti di deviare la conversazione verso toni più costruttivi, Claude potrà decidere di chiudere definitivamente la chat.

Secondo Anthropic, si tratta di un “ultima risorsa” da adottare solo quando ogni possibilità di dialogo produttivo è ormai compromessa. L’azienda ha infatti specificato che la stragrande maggioranza degli utenti non si accorgerà mai di questa funzionalità, anche nel caso di discussioni su temi controversi o delicati, poiché il meccanismo entrerà in gioco unicamente nei cosiddetti “casi limite”.

Quando Claude decide di interrompere una conversazione, l’utente non può più inviare nuovi messaggi nello stesso thread. Tuttavia, ha la possibilità di aprire subito una nuova chat, oppure di tornare indietro e modificare o ritentare i messaggi precedenti per imboccare un percorso più costruttivo.

Per Anthropic, questa funzione rientra in un programma di ricerca più ampio che esplora il concetto di AI welfare, cioè il benessere dei sistemi di intelligenza artificiale e la loro gestione in condizioni di stress. Sebbene l’antropomorfizzazione delle IA resti un tema di dibattito nel settore, l’azienda considera questa possibilità di “uscita” da interazioni problematiche come un modo a basso costo e relativamente semplice per ridurre rischi e abusi.

La società ha inoltre fatto sapere che al momento il sistema è ancora sperimentale e invita gli utenti a lasciare un feedback qualora incontrino una chiusura forzata della conversazione. Questo approccio segna un nuovo passo nella direzione di una IA più consapevole e resiliente, capace non solo di assistere ma anche di proteggersi da interazioni tossiche o pericolose.