Disinformazione medica: è troppo facile compromettere i modelli linguistici con informazioni false

Uno studio condotto dai ricercatori della New York University ha rivelato una preoccupante vulnerabilità dei grandi modelli linguistici (LLM) alla disinformazione medica, anche quando presente in quantità minime nei dati di addestramento.

Lo studio si è concentrato sul dataset "The Pile", comunemente utilizzato per l'addestramento degli LLM. La scelta dei ricercatori di utilizzare The Pile come banco di prova è stata dettata dal fatto che si tratta di un dataset che contiene la più bassa percentuale di termini medici provenienti da fonti non verificate da esperti umani, con la maggior parte delle informazioni mediche derivanti da fonti autorevoli come il database PubMed del National Institutes of Health.

I ricercatori hanno generato disinformazione medica di alta qualità utilizzando GPT-3.5 e l'hanno inserita nel dataset in diverse percentuali, analizzando poi le informazioni in tre ambiti medici: medicina generale, neurochirurgia e farmacologia.

In particolare, è emerso che anche nei casi di una percentuale di dati corrotti estremamente bassa, e pari allo 0,001% del totale, una quota significativa delle risposte generate dal modello - oltre il 7% - conteneva informazioni errate. Questo dato evidenzia quanto sia critica la qualità dei dati di addestramento per l'affidabilità degli LLM in ambito medico.

Per mettere le cose in prospettiva i ricercatori hanno dimostrato che, sulla base di queste proporzioni, per un attacco contro il modello LLaMA 2 da 70 miliardi di parametri, addestrato su 2 trilioni di token, sarebbero sufficienti circa 40.000 articoli dal costo inferiore a 100 dollari. Questi "articoli" potrebbero essere anche semplici pagine web ordinarie, o contenuti inseriti opportunamente (o occultamente) all'interno di pagine web liberamente accessibili, rendendo l'attacco particolarmente accessibile e difficile da rilevare.

Ancora più preoccupante è il fatto che l'introduzione di disinformazione su un argomento specifico ha avuto ripercussioni negative anche sulle risposte relative ad altri temi medici non direttamente oggetto dell'attacco. Ciò suggerisce che la contaminazione dei dati può sfociare in un vero e proprio effetto domino, andando a compromettere l'affidabilità del modello su un ampio spettro di argomenti correlati.

Lo studio ha inoltre evidenziato, in modo decisamente più preoccupante, che i modelli compromessi riescono a superare i test standard utilizzati per valutare le prestazioni degli LLM in ambito medico. In questo modo diventa estremamente difficile individuare la presenza di contaminazione attraverso le metriche di valutazione comunemente impiegate, sollevando pertanto seri dubbi sull'adeguatezza degli attuali metodi di verifica.

Le implicazioni di questi risultati sono allarmanti: in primo luogo, gli LLM generalisti stanno diventando sempre più diffusi come strumenti di ricerca online, anche per questioni mediche. La loro vulnerabilità alla disinformazione già presente su internet li rende potenziali amplificatori di false informazioni sanitarie, con rischi concreti per la salute pubblica.

In secondo luogo, lo studio ha evidenziato come anche le fonti mediche curate da esperti, comunemente considerate affidabili, possano contenere informazioni obsolete o non pienamente confermate che potrebbero, pertanto, minare l'attendibilità degli esiti di una ricerca. Questo sottolinea la necessità di un costante aggiornamento e verifica anche delle fonti ritenute più autorevoli.

I ricercatori hanno proposto un algoritmo per rilevare la terminologia medica nell'output degli LLM e confrontarla con un grafo di conoscenze biomediche validate. Sebbene si tratti di un approccio promettente, questa soluzione non risolve completamente il problema per gli LLM generalisti.

Lo studio evidenzia la necessità di sviluppare metodi più robusti per garantire l'affidabilità degli LLM in ambito medico, considerando sia la disinformazione intenzionale che quella "incidentale" già presente online.

Ma, in fondo, del fact checking, che ci importa?