Discord banna per errore 8.200 account: scacchiere e schermate di Minecraft scambiate per pedopornografia

Discord ha ammesso che un errore nel proprio sistema di moderazione automatica ha bannato per sbaglio circa 8.200 account dal maggio 2026, scambiando immagini del tutto innocue per materiale pedopornografico. Tra le immagini incriminate figurano scacchiere, fogli di calcolo, texture di videogiochi e persino le schermate dell'inventario di Minecraft.

Il denominatore comune era la presenza di una griglia. Il sistema di sicurezza della piattaforma, spiega l'azienda in un lungo thread su X, confronta ogni contenuto caricato con database di materiale già noto come illegale, e le immagini a griglia venivano associate per somiglianza a contenuti pedopornografici. Circa 200 di questi ban sono arrivati nel solo ultimo fine settimana, ma il problema andava avanti in sordina da due mesi.

A confermare la portata dell'incidente è stato Stanislav Vishnevskiy, cofondatore e direttore tecnico (CTO) di Discord: il bug ha colpito circa 200 utenti che avevano caricato immagini "a griglia" e altri 8.000 che avevano pubblicato "immagini innocue di altro tipo" a partire da maggio. "Tutti gli utenti coinvolti sono ora stati riabilitati", ha dichiarato.

Un doppio errore nella catena di moderazione

Il meccanismo che avrebbe dovuto evitare guai è quello del controllo umano. "I nostri sistemi segnalano i contenuti confrontandoli con materiale dannoso già noto", ha spiegato Discord. "Questo tipo di confronto per somiglianza può produrre falsi positivi, ed è per questo che un membro del nostro team Trust & Safety verifica sempre il contenuto segnalato prima di qualsiasi azione."

Il comportamento previsto, prosegue l'azienda, era di sospendere temporaneamente i caricamenti durante la revisione, non di bannare l'account. Qui si sono innestati due errori distinti. Il primo saltava del tutto la fase di sospensione e comminava direttamente il ban permanente. Il secondo impediva che il ban venisse revocato in automatico una volta che lo staff aveva esaminato e scagionato l'account, lasciandolo così sospeso a tempo indeterminato.

"Sappiamo che non è una spiegazione soddisfacente per chi ci ha rimesso l'account, e avremmo dovuto accorgercene prima", ha riconosciuto la società, aggiungendo di essere al lavoro su tutele migliori perché una cosa simile non possa più accadere in silenzio.

Perché una scacchiera somiglia a un contenuto illegale

Sistemi di questo tipo si appoggiano di norma all'hashing percettivo: l'immagine viene convertita in scala di grigi, ridotta a risoluzione molto bassa e suddivisa in una griglia di quadranti, a ognuno dei quali si assegna un valore in base alla luminosità rispetto ai vicini. Il risultato è un identificatore che permette di riconoscere una foto nota senza intervento umano.

È la stessa famiglia di tecnologie su cui poggiano strumenti come PhotoDNA di Microsoft, pensato proprio per contrastare la diffusione di materiale pedopornografico, e a cui si rifaceva anche il controverso piano di Apple del 2021 per l'analisi delle librerie fotografiche su iPhone. Il limite è evidente: un'immagine organizzata a griglia può finire per assomigliare, agli occhi dell'algoritmo, a un contenuto che con quella foto non ha nulla a che fare. Diversi utenti hanno anzi ipotizzato che il sistema fosse diventato più sensibile ai pattern a griglia proprio perché in passato venivano usati per mascherare contenuti illeciti ed eludere i rilevatori automatici.

L'automazione applicata alla moderazione ha già colpito utenti in regola. L'anno scorso migliaia di iscritti a Instagram e ai gruppi Facebook si erano visti sospendere l'account senza spiegazioni, con molti a puntare il dito contro i sistemi AI di Meta, che però non ha mai confermato pubblicamente le proprie responsabilità; ne abbiamo già parlato. Anche Tumblr aveva raccolto lamentele analoghe.

Discord afferma ora di essere al lavoro su meccanismi che evitino ban "silenziosi" e impediscano al sistema di sicurezza di penalizzare chi non ha violato alcuna regola. La chiusura del caso, però, non è così netta come la comunicazione lascia intendere: una nota della community pubblicata sotto lo stesso thread segnala che alcuni utenti risultano ancora sospesi per violazioni sulla sicurezza dei minori, nonostante l'azienda dichiari di aver riabilitato tutti gli account coinvolti.