OpenAI blocca l'orsacchiotto AI che parlava ai bambini di fetish sessuali e piccoli incendi

OpenAI ha sospeso l'accesso ai propri modelli a FoloToy, azienda produttrice di giocattoli per bambini, dopo che un rapporto del Public Interest Research Group (PIRG) ha rivelato comportamenti gravemente inappropriati da parte di un peluche dotato di intelligenza artificiale. Il giocattolo, chiamato Kumma e alimentato dal modello GPT-4o, avrebbe fornito ai bambini istruzioni su come accendere dei fiammiferi e, in casi ancora più allarmanti, spiegazioni dettagliate su pratiche sessuali e vari tipi di fetish.

Il PIRG ha testato tre diversi giocattoli destinati a bambini dai 3 ai 12 anni, evidenziando in particolare come Kumma fosse privo di adeguati sistemi di sicurezza. In uno degli esperimenti, il peluche spiegava passo dopo passo come localizzare e accendere dei fiammiferi, utilizzando un tono rassicurante da "genitore premuroso".

In un altro test, il giocattolo discuteva apertamente di "kink" e ruoli erotici, arrivando persino a chiedere quale esperienza potesse essere "più divertente da esplorare". A seguito delle rivelazioni, OpenAI ha confermato di aver immediatamente sospeso l'account sviluppatore di FoloToy, dichiarando: "Possiamo confermare di aver sospeso questo sviluppatore per violazione delle nostre policy".

La reazione di FoloToy all'interruzione del supporto di OpenAI

FoloToy, dal canto suo, ha reagito ampliando le proprie misure correttive. Inizialmente aveva annunciato il ritiro del solo giocattolo incriminato, per poi dichiarare di aver sospeso temporaneamente la vendita di tutti i suoi prodotti, avviando un audit completo sulla sicurezza dell'intera gamma.

Per PIRG, l'intervento di OpenAI e del produttore è un passo nella giusta direzione, ma insufficiente per affrontare un problema più ampio. "Rimuovere un prodotto problematico dal mercato è un buon passo, ma ben lontano da una soluzione sistemica", ha affermato RJ Cross, coautore del rapporto. L'organizzazione sottolinea infatti che il settore dei giocattoli AI rimane quasi del tutto privo di regolamentazione, con molti prodotti potenzialmente pericolosi ancora disponibili per l'acquisto.

La vicenda solleva interrogativi urgenti su come OpenAI possa controllare più efficacemente gli utilizzi dei propri modelli. La recente partnership con Mattel, già accompagnata da polemiche, aumenta ulteriormente la pressione: se un colosso del giocattolo dovesse incorrere in problemi simili, OpenAI adotterebbe misure altrettanto drastiche?