ChatGPT search è 'imprevedibile' e spesso non accurato, ed è un grosso problema: ecco perché

La recente introduzione di ChatGPT search ha lanciato una sfida aperta a Google. Presentato come un concorrente potenziale dei motori di ricerca così come li abbiamo conosciuti sino a oggi, il nuovo strumento di OpenAI ha promesso di rivoluzionare il modo in cui gli utenti accedono alle informazioni online. Tuttavia, un'analisi approfondita condotta dal Tow Center for Digital Journalism della Columbia University ha rivelato problematiche importanti che potrebbero minare la credibilità della tecnologia.

L'indagine ha esaminato duecento citazioni provenienti da venti diverse pubblicazioni, chiedendo a ChatGPT di identificarne le fonti. I risultati hanno evidenziato una serie di incongruenze e imprecisioni nelle risposte fornite dal chatbot, compromettendo la percezione sulla sua affidabilità come strumento di ricerca e riferimento. Uno degli aspetti più preoccupanti emersi dallo studio riguarda la tendenza di ChatGPT a fornire informazioni errate o fuorvianti. In numerosi casi, il chatbot ha attribuito citazioni a fonti sbagliate, mescolando dettagli reali con elementi di finzione.

ChatGPT search, imprecisioni e imprevedibilità nelle risposte

Gli errori si sono manifestati non solo per le pubblicazioni che hanno bloccato l'accesso ai crawler di OpenAI, ma anche su testate giornalistiche che hanno stipulato accordi di licenza con l'azienda. Ad esempio, in un caso specifico, ChatGPT ha erroneamente attribuito una citazione proveniente da una lettera all'editore pubblicata sull'Orlando Sentinel a un articolo del Time, dimostrando una certa propensione a confondere e mescolare fonti diverse.

Un altro aspetto critico evidenziato dalla ricerca riguarda la gestione dei contenuti bloccati. Quando ChatGPT search non riesce ad accedere a determinate fonti a causa di restrizioni imposte dagli editori, invece di ammettere la propria impossibilità di fornire informazioni, spesso ricorre alla creazione di contenuti originali o all'utilizzo di fonti alternative non verificate. Secondo Columbia Journalism Review, più di un terzo delle risposte analizzate conteneva questo tipo di errore, fattore che ha fatto emergere seri dubbi sulla capacità del sistema di distinguere tra informazioni verificate e contenuti non attendibili.

La situazione si complica ulteriormente quando si considerano i casi di plagio e di contenuti ripubblicati senza autorizzazione: l'analisi ha rivelato che, in alcune circostanze, ChatGPT search ha citato siti web che avevano copiato integralmente articoli da fonti autorevoli, senza attribuirne la paternità. La questione dell'imprevedibilità nelle risposte di ChatGPT rappresenta un ulteriore motivo di preoccupazione: gli esperimenti condotti hanno dimostrato che, quando interrogato più volte sulla stessa query, il chatbot può fornire risposte diverse e talvolta contraddittorie. Una variabilità che potrebbe contribuire alla diffusione di notizie false.

I risultati dell'indagine potrebbero avere ripercussioni vaste e potenzialmente dannose per l'ecosistema dell'informazione online: gli editori si trovano esposti al rischio di vedere i propri contenuti mal rappresentati o attribuiti erroneamente, situazione che potrebbe portare a una diluizione del valore del marchio editoriale e a una diminuzione della fiducia del pubblico nelle fonti di informazione tradizionali. Inoltre, risulta preoccupante la facilità con cui ChatGPT sembra generare risposte plausibili ma non accurate: se gli utenti dovessero fare affidamento principalmente su strumenti come ChatGPT search per accedere alle notizie e alle informazioni, si potrebbe assistere a una progressiva erosione della capacità critica e della verifica delle fonti, elementi fondamentali per una società informata e democratica.

OpenAI ha risposto alle critiche attraverso un portavoce, che ha sottolineato gli sforzi in corso per migliorare l'accuratezza delle citazioni e il rispetto delle preferenze degli editori. L'azienda ha affermato di collaborare con i partner per ottimizzare la gestione dei contenuti attraverso i file robots.txt e di essere impegnata nel continuo perfezionamento dei risultati di ricerca. Tuttavia, al momento, queste rassicurazioni non sembrano sufficienti a placare le preoccupazioni sollevate dalla comunità giornalistica e accademica riguardo allo stato attuale dell'informazione per mezzo dell'IA generativa.