Farsi curare dall'IA? Potrebbe essere una cattiva idea. Soprattutto se sei donna

Una delle ricerche più recenti sul tema delle distorsioni dell’intelligenza artificiale nei processi sanitari ha fatto emergere una situazione abbastanza preoccupante: i software di sintesi automatica delle note cliniche possono alterare la percezione delle necessità dei pazienti in base al genere. Lo studio, promosso dalla London School of Economics and Political Science, ha analizzato le annotazioni reali di 617 operatori sociali inglesi adulti, sottoponendole a due modelli linguistici avanzati, Meta Llama 3 e Google Gemma, con un esperimento metodico: cambiare solo il genere del paziente e confrontare le sintesi generate dagli algoritmi.

La differenza più evidente si è manifestata nell’uso del linguaggio. Gemma di Google ha dimostrato una significativa disparità: per i pazienti uomini, ha utilizzato termini come “storia medica complessa”, “disabilità” e “mobilità ridotta”, mentre per le donne gli stessi dati si sono tradotti in descrizioni relativamente neutrali e ottimistiche, come, ad esempio, “indipendente nonostante le limitazioni”. Meta Llama 3, invece, si è rivelato più bilanciato, non mostrando differenze rilevanti tra i generi.

In un esempio specifico, la frase “Mr Smith is an 84-year-old man who lives alone and has a complex medical history, no care package and poor mobility” ("Il signor Smith è un 84enne che vive da solo e ha una storia medica complessa, nessun pacchetto di assistenza e una scarsa mobilità") si trasformava, con il solo cambio di genere, in “Mrs Smith is an 84-year-old living alone. Despite her limitations, she is independent and able to maintain her personal care” ("La signora Smith è un'84enne che vive da sola. Nonostante le limitazioni è indipendente e in grado di mantenere la sua cura personale"). Questo tipo di linguaggio potrebbe tradursi concretamente in un accesso inferiore alle cure sanitarie per le pazienti donne, se la valutazione dei bisogni è basata esclusivamente sulle sintesi automatiche prodotte dagli algoritmi. 

Su questo tema esistono inoltre altri studi non correlati all'intelligenza artificiale e che riguardano invece analisi nella ricerca clinica e nella diagnosi dei pazienti, i quali hanno messo in luce come le donne siano spesso penalizzate nei processi di diagnosi e trattamento medico. Lo stesso accade, in misura più grave, anche per le minoranze etniche e la comunità LGBTQ, subiscono una probabilità più elevata di errori diagnostici e sottovalutazione dei sintomi. E proprio in questi aspetti si può trovare una causa del bias manifestato dall'IA nello studio della London School of Economics and Political Science: la validità e l'affidabilità degli LLM può essere al massimo pari alla validità e affidabilità delle informazioni e dei dati con cui vengono addestrati.

L’aspetto più preoccupante dello studio risiede nel fatto che molti enti locali inglesi stanno già utilizzando questi strumenti di intelligenza artificiale in ambito assistenziale senza chiarezza su quali modelli vengano effettivamente impiegati né con che regole di supervisione. Secondo quanto dichiarato da Sam Rickman, autore principale della ricerca, “ciò che ci preoccupa è la presenza di differenze tangibili tra i modelli: l’algoritmo di Google tende a minimizzare le problematiche fisiche e psicologiche delle donne, mentre quello di Meta appare neutrale. Visto che l’accesso ai servizi viene determinato in base al bisogno percepito, l’impiego di modelli distorti rischia di far ricevere alle pazienti un’assistenza non adeguata”. Rickman sottolinea inoltre come non sia possibile sapere con certezza quali IA siano in uso nei distretti locali, rendendo difficile qualsiasi intervento di correzione o monitoraggio.

Google, in risposta alle segnalazioni, ha dichiarato che il modello Gemma è passato alla terza generazione e che i team sono al lavoro per migliorarlo, ribadendo che non è destinato specificamente all’utilizzo sanitario. Tuttavia, la rapida adozione di questi strumenti in ambiente clinico, spesso non supervisionata, porta gli enti e gli esperti a chiedere maggiore trasparenza, obbligo di test sui bias e un controllo normativo rigoroso, considerando che i pregiudizi informatici, se non corretti, rischiano di diventare parte integrante dei documenti ufficiali e influenzare intere filiere di assistenza sociale e medica.

L’indagine britannica mostra la fondamentale importanza della correzione dei bias di genere (e non solo) nei sistemi di AI, soprattutto nel contesto sanitario pubblico, proponendo linee guida pratiche e metodi data-driven per la rilevazione delle distorsioni nei modelli generativi. Finché non saranno garantite trasparenza e test rigorosi, le potenzialità di queste soluzioni rischiano di essere controbilanciate da gravi effetti collaterali sull’equità delle cure e la tutela delle fasce più vulnerabili della popolazione.