OpenAI dichiara: 'Nessuno strumento riesce a riconoscere i testi generati dall'IA'

OpenAI, l'azienda che ha creato il popolare chatbot ChatGPT, ha ammesso ufficialmente che gli strumenti progettati per distinguere il testo generato dall'Intelligenza Artificiale da quello scritto dagli esseri umani hanno un basso tasso di accuratezza e non sono affidabili.

La scorsa settimana l'azienda ha pubblicato dei consigli per l'uso della tecnologia nell'ambito scolastico, e in una sezione delle FAQ si legge:

"Sebbene alcuni (tra cui OpenAI) abbiano rilasciato strumenti che pretendono di rilevare i contenuti generati dall'IA, nessuno di questi ha dimostrato di distinguere in modo affidabile tra contenuti generati dall'IA e contenuti generati dall'uomo".

Ricordiamo che a luglio la società aveva dismesso il proprio strumento sperimentale AI Classifier, pensato proprio per individuare testi scritti da intelligenze artificiali, a causa del tasso di accuratezza molto basso. Secondo OpenAI, insomma, attualmente non esiste uno strumento in grado di rilevare con precisione se un testo è stato generato da un'IA o scritto da un essere umano, e i rilevatori esistenti si basano su metriche non comprovate producendo molti falsi positivi.

Secondo OpenAI gli strumenti per rilevare l'uso dell'IA generativa non funzionano

Nella FAQ, OpenAI scrive inoltre che neanche ChatGPT stesso è in grado di stabilire se un testo è stato scritto da un'intelligenza artificiale. A risposte come "Hai scritto tu questo contenuto?", infatti, offre risposte "casuali e prive di alcun fondamento". Questi strumenti possono ad esempio essere utilizzati per scoprire se uno studente abbia utilizzato o meno un chatbot o altre IA per i propri compiti, ma OpenAI vuole sottolineare che non possono essere considerati affidabili.

Di contro, un umano (come l'insegnante in questo caso) potrebbe farlo, soprattutto chi conosce bene lo stile di scrittura di uno studente può notare cambiamenti improvvisi che facciano sospettare l'uso dell'IA generativa. Inoltre, testi palesemente generati da chatbot e copiati senza revisione possono contenere frasi rivelatrici inserite dalla stessa tecnologia. Un umano può scoprire anche eventuali errori grossolani, come nel caso discusso di recente dalla rivista scientifica Nature (in cui nel testo di un articolo scientifico era presente il testo Regenerate response, presente in uno dei tasti dell'interfaccia di ChatGPT).

Secondo OpenAI, al momento gli strumenti di rilevamento automatico non funzionano e probabilmente continueranno a non funzionare per diverso tempo: insomma, insegnanti e i revisori devono prestare attenzione a cambiamenti di stile e contenuti sospetti, evitando di affidarsi a rilevatori automatici che possono produrre falsi positivi. Allo stesso modo, OpenAI ammette che anche il suo strumento di IA generativa può sbagliare, e qualsiasi risposta di ChatGPT non deve essere considerata affidabile a prescindere.

ChatGPT non può essere, quindi, l'unica fonte di una eventuale ricerca: i loro testi vanno sempre verificati, messi in discussione e integrati con fonti e ricerche affidabili, visto che - come altri strumenti di IA generativa - ha grandi capacità di produrre testi coerenti e informativi, ma non possiede una reale comprensione del mondo e degli argomenti trattati.