Numeri choc: quest'anno sono cresciuti a ritmi esponenziali i contenuti di abuso su minori generati dall’IA

Nel corso del 2025, il fenomeno dei contenuti di abuso sessuale su minori generati dall’intelligenza artificiale (AI-generated CSAM - Child Sexual Abuse Material) ha raggiunto proporzioni allarmanti: è una recente indagine del New York Times a fare luce sul problema, suffragata da una serie di dati raccolti da organizzazioni come la Internet Watch Foundation (IWF) e il National Center for Missing & Exploited Children (NCMEC). La quantità di contenuti prodotti artificialmente è aumentata a ritmi esponenziali, rappresentando un grave problema per le autorità e i gruppi di tutela dei minori.

La IWF, ente britannico che raccoglie e analizza segnalazioni di CSAM, ha identificato 1.286 video generati dall’IA solo nei primi sei mesi del 2025, a fronte dei soli due rilevati nello stesso periodo del 2024. Il NCMEC ha confermato questa tendenza, dichiarando al New York Times di aver ricevuto 485.000 segnalazioni di CSAM generato dall’IA (tra immagini e video) nella prima metà del 2025, contro le 67.000 dell’intero 2024. Amazon ha segnalato 380.000 casi rimossi nei primi sei mesi dell’anno, mentre OpenAI ne ha denunciati 75.000.

Secondo gli esperti, la qualità dei contenuti generati dall’IA sta raggiungendo livelli tali da renderli quasi indistinguibili dal materiale reale. In forum online frequentati da criminali, gli utenti elogiano il grado di realismo dei nuovi video, che vengono spesso distribuiti tramite dark web, rendendo ancora più complesso il lavoro delle forze dell’ordine.

Il funzionamento di questi sistemi si basa sull’addestramento tramite immagini e video reali. Il New York Times sottolinea come parte della nuova ondata di contenuti sia costituita da CSAM reale “riciclato” dagli algoritmi, oppure da foto di bambini estratte da siti scolastici e social network, manipolate per generare nuovi materiali di abuso.

Il fenomeno non è purtroppo nuovo: come vi avevamo raccontato già nel 2023, ricercatori della Stanford Internet Observatory avevano trovato centinaia di esempi di CSAM in un dataset usato per addestrare una versione iniziale di Stable Diffusion, uno dei principali generatori di immagini. Stability AI ha dichiarato di aver introdotto nuove misure di sicurezza per prevenire abusi, affermando il proprio impegno nel contrastare la creazione e la diffusione di contenuti dannosi, inclusi quelli di abuso su minori.

La pressione pubblica e l’emergere di questi casi hanno spinto altre aziende tecnologiche a segnalare i contenuti sospetti al NCMEC, con numeri che testimoniano la portata del fenomeno e la necessità di una risposta coordinata tra privati, enti di tutela e autorità giudiziarie. Queste ultime stanno faticando a tenere il passo con l’evoluzione tecnologica: nel 2024, il Dipartimento di Giustizia statunitense ha effettuato il primo arresto noto per possesso e distribuzione di CSAM generato dall’IA. Nel Regno Unito, un uomo è stato condannato a 18 mesi di carcere per aver prodotto e venduto immagini di abuso create artificialmente.

Il materiale generato dall’IA rappresenta una frazione del totale dei contenuti di abuso segnalati. Nel 2024, la IWF ha confermato 291.273 segnalazioni di CSAM, di cui solo due erano riconducibili all’IA. L’aumento esponenziale e la crescente sofisticazione delle tecniche di generazione automatica fanno temere che la situazione possa rapidamente sfuggire di mano se non verranno adottate misure efficaci e coordinate.