OpenAI dichiara: 'Nessuno strumento riesce a riconoscere i testi generati dall'IA'

OpenAI dichiara: 'Nessuno strumento riesce a riconoscere i testi generati dall'IA'

Secondo OpenAI gli strumenti progettati per distinguere il testo generato dall'IA da quello umano hanno un basso tasso di accuratezza e non sono affidabili. A luglio la società aveva interrotto il proprio strumento AI Classifier, che offriva un tasso di accuratezza del 26%

di pubblicata il , alle 15:31 nel canale Web
OpenAI
 

OpenAI, l'azienda che ha creato il popolare chatbot ChatGPT, ha ammesso ufficialmente che gli strumenti progettati per distinguere il testo generato dall'Intelligenza Artificiale da quello scritto dagli esseri umani hanno un basso tasso di accuratezza e non sono affidabili.

La scorsa settimana l'azienda ha pubblicato dei consigli per l'uso della tecnologia nell'ambito scolastico, e in una sezione delle FAQ si legge:

"Sebbene alcuni (tra cui OpenAI) abbiano rilasciato strumenti che pretendono di rilevare i contenuti generati dall'IA, nessuno di questi ha dimostrato di distinguere in modo affidabile tra contenuti generati dall'IA e contenuti generati dall'uomo".

Ricordiamo che a luglio la società aveva dismesso il proprio strumento sperimentale AI Classifier, pensato proprio per individuare testi scritti da intelligenze artificiali, a causa del tasso di accuratezza molto basso. Secondo OpenAI, insomma, attualmente non esiste uno strumento in grado di rilevare con precisione se un testo è stato generato da un'IA o scritto da un essere umano, e i rilevatori esistenti si basano su metriche non comprovate producendo molti falsi positivi.

Secondo OpenAI gli strumenti per rilevare l'uso dell'IA generativa non funzionano

Nella FAQ, OpenAI scrive inoltre che neanche ChatGPT stesso è in grado di stabilire se un testo è stato scritto da un'intelligenza artificiale. A risposte come "Hai scritto tu questo contenuto?", infatti, offre risposte "casuali e prive di alcun fondamento". Questi strumenti possono ad esempio essere utilizzati per scoprire se uno studente abbia utilizzato o meno un chatbot o altre IA per i propri compiti, ma OpenAI vuole sottolineare che non possono essere considerati affidabili.

Di contro, un umano (come l'insegnante in questo caso) potrebbe farlo, soprattutto chi conosce bene lo stile di scrittura di uno studente può notare cambiamenti improvvisi che facciano sospettare l'uso dell'IA generativa. Inoltre, testi palesemente generati da chatbot e copiati senza revisione possono contenere frasi rivelatrici inserite dalla stessa tecnologia. Un umano può scoprire anche eventuali errori grossolani, come nel caso discusso di recente dalla rivista scientifica Nature (in cui nel testo di un articolo scientifico era presente il testo Regenerate response, presente in uno dei tasti dell'interfaccia di ChatGPT).

Secondo OpenAI, al momento gli strumenti di rilevamento automatico non funzionano e probabilmente continueranno a non funzionare per diverso tempo: insomma, insegnanti e i revisori devono prestare attenzione a cambiamenti di stile e contenuti sospetti, evitando di affidarsi a rilevatori automatici che possono produrre falsi positivi. Allo stesso modo, OpenAI ammette che anche il suo strumento di IA generativa può sbagliare, e qualsiasi risposta di ChatGPT non deve essere considerata affidabile a prescindere.

ChatGPT non può essere, quindi, l'unica fonte di una eventuale ricerca: i loro testi vanno sempre verificati, messi in discussione e integrati con fonti e ricerche affidabili, visto che - come altri strumenti di IA generativa - ha grandi capacità di produrre testi coerenti e informativi, ma non possiede una reale comprensione del mondo e degli argomenti trattati.

6 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
TorettoMilano11 Settembre 2023, 15:34 #1
beh tenendo conto ognuno di noi scriva in modo diverso e siamo miliardi mi chiedo come si faccia a trovare una discriminante per dire cosa è scritto dall'uomo e cosa dalla macchina. mi sembra una battaglia persa a priori
UtenteHD11 Settembre 2023, 16:54 #2
Secondo me e solo per ora che siamo alla preistoria dell'IA, se il testo e' scritto interamente dall'IA, forse in qualche maniera si puo' capire, non sto dicendo che ho la soluzione e' solo un ragionamento di logica, se invece come credo di solito accada il testo viene generato dall'IA e poi modificato/corretto dalla persona, beh allora si anche oggi diventa irriconoscibile.
acerbo11 Settembre 2023, 20:45 #3
é molto semplice, se il testo é privo di errori grammaticali, di ortografia e di sintassi é scrittto da una IA all'80%.
Heartfox11 Settembre 2023, 22:44 #4
Basta rileggere quello che hai scritto e errori e refusi li correggi, cosa che tanti non fanno a partire dai titoli
Okkau11 Settembre 2023, 23:10 #5
Originariamente inviato da: acerbo
é molto semplice, se il testo é privo di errori grammaticali, di ortografia e di sintassi é scrittto da una IA all'80%.



Oltre ai correttori ortografici, esistono anche quelli di sintassi e analisi logica.
E comunque 80% = inaffidabile.
mrk-cj9420 Ottobre 2023, 20:09 #6
Originariamente inviato da: TorettoMilano
beh tenendo conto ognuno di noi scriva in modo diverso e siamo miliardi mi chiedo come si faccia a trovare una discriminante per dire cosa è scritto dall'uomo e cosa dalla macchina. mi sembra una battaglia persa a priori


perchè con le immagini invece spesso/a volte si capisce per i soliti difetti "congeniti" (es: occhi o altre parti del corpo cannate o mancanza di continuità tipo il non allineamento di una strada o un marciapiede se nel mezzo è interrotto da un altro elemento)

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^