Un algoritmo discrimina le persone di colore per le cure negli USA
Un gruppo di ricercatori mette in evidenza i pericoli di un algoritmo di AI non adeguatamente composto o allenato per prendere decisioni: il rischio di discriminazione è dietro l'angolo anche se il presupposto è la neutralità
di Andrea Bai pubblicata il 29 Ottobre 2019, alle 12:01 nel canale Scienza e tecnologiaLe tecniche di Intelligenza Artificiale, con i loro algoritmi predittivi, si sono ritagliate spazio in diversi campi di applicazione e aree della società, compresa quella sanitaria. Esiste però la preoccupazione, suffragata anche da una recente ricerca, che questi algoritmi possano incamerare una qualche forma di pregiudizio: non certo perché gli algoritmi operino per simpatie o antipatie ma perché la programmazione alla base, o il dataset con cui l'algoritmo predittivo viene allenato, possano essere in qualche modo viziati anche in maniera involontaria o inconsapevole.
Abbiamo citato una recente ricerca: un gruppo di ricercatori ha pubblicato sull'ultima edizione di Science i risultati di uno studio che ha dimostrato come un algoritmo predittivo usato in svariate strutture ospedaliere negli Stati Uniti abbia compiuto sistematiche discriminazioni verso i pazienti di colore, negando loro l'accesso ad un determinato programma sanitario di cure e trattamenti e dando priorità a pazienti bianchi. I ricercatori hanno avuto un'opportunità preziosa da sfruttare, in quanto spesso i dettagli di programmazione degli algoritmi e i dataset usati per il loro allenamento sono proprietari e cioè con accesso ristretto esclusivamente al team di sviluppo e alla società incaricata di realizzare l'algoritmo. In questo caso invece si è trattato di informazioni disponibili, fattore che ha permesso di condurre uno studio accurato ed approfondito.
L'algoritmo aveva lo scopo di valutare quali pazienti avrebbero tratto il maggior beneficio dall'accesso ad un programma di cure ad alto rischio, con staff medico dedicato e incontri extra-appuntamento. I ricercatori hanno comparato il risk score generato dall'algoritmo ad altre metriche utili ad indicare lo stato di salute nella vita reale dei pazienti (come la presenza e il numero di malattie croniche, per esempio), scoprendo che le persone di colore venivano costantemente sottovalutate. Secondo le stime dell'algoritmo il 18% dei pazienti che meritano l'accesso a questo genere di programmi sarebbero di colore, ma i ricercatori hanno calcolato che il numero reale dovrebbe essere più vicino al 47%.
Il processo decisionale fallato
Il processo decisionale dell'algoritmo è ovviamente stato progettato per essere neutrale. Il problema individuato dai ricercatori è però la presenza di una variabile chiave su cui si basa la valutazione, e cioè su quale fosse il totale di spesa sanitaria per singolo paziente fino al momento della valutazione: a spesa maggiore corrispondeva una maggior considerazione per l'ingresso nel programma di cure. Una variabile che si scontra però con la realtà dei fatti della società statunitense, dove sui grandi numeri le persone di colore tendono a rivolgersi con meno frequenza alle strutture ospedaliere rispetto ai bianchi, perché vivono in condizioni economiche meno favorevoli. E di norma quando le persone di colore si rivolgono ad un ospedale, sono in condizioni sanitarie più gravi perché le problematiche croniche spesso non vengono trattate. "Le discriminazioni sorgono perché l'algoritmo si basa più sui costi della sanità che sulle condizioni di salute, ma un accesso iniquo alle cure significa che spendiamo meno soldi per i pazienti di colore rispetto ai pazienti bianchi" osservano gli autori.
In questo caso il problema risiede in una delle variabili della valutazione, ma i problemi possono sorgere anche nel caso in cui un algoritmo viene allenato su un dataset non sufficientemente ampio e variegato. Per fare un parallelismo è come se un'automobile a guida autonoma venisse allenata solo in una specifica località: si "appoggerebbe" solamente sulle peculiarità locali e non sarebbe in grado di entrare in contatto con dinamiche e problematiche proprie di una casistica più ampia.
E' ovviamente impossibile approcciarsi alla scrittura di un algoritmo cercando di anticipare tutte le eventuali "parzialità" che possano influire sui risultati. L'approccio dovrebbe essere l'inverso: pensare a come i dati pendenti (a prescindere da quali siano) possano influire su una data applicazione e controllare quindi i risultati, usando metodi di AI che possano consentire di comprendere perché un algoritmo è arrivato alla conclusione a cui è arrivato, e quindi procedere a ritroso e correggere il problema.
I ricercatori sono ora al lavoro con Optum per ricalibrare l'algoritmo e auspicano che altre compagnie vogliano rivolgersi loro per una verifica delle loro soluzioni AI. "E' impensabile che gli algoritmi di chiunque altro non siano affetti da un problema simile. Speriamo che questa ricerca porti l'intero settore a sensibilizzarsi al problema" hanno dichiarato i ricercatori.
19 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoRazzismo ovunque
Visto che il colore non é un fattore che rientra nel calcolo, non vedo come la si possa chiamare discriminazione verso i neri. Anzi, questa affermazione mi pare razzista: i bianchi con meno disponibilitá economica hanno diritto a meno tutela rispetto ai neri con meno disponibilitá economica?
Buono che correggano l'algoritmo se presenta un problema, ma non sono sicuro di quali risultati vogliano ottenere: nel momento in cui stili una classifica in base a dei parametri, al 90% farai un "torto" verso una qualche comunitá/"razza"/estrazione sociale che in qualche modo condivide i parametri economici, culturali, fisici o di abitudini che stai usando.
Poi, per caritá, si puó sempre fare meglio ed é giusto continuare a migliorare.
Ahahahahah....
Visto che il colore non é un fattore che rientra nel calcolo, non vedo come la si possa chiamare discriminazione verso i neri. Anzi, questa affermazione mi pare razzista: i bianchi con meno disponibilitá economica hanno diritto a meno tutela rispetto ai neri con meno disponibilitá economica?
Esatto, l algoritmo non è razzista ma classista, ma probabilmente il reddito non rientrava nei dati inseriti nell algoritmo quindi l associazione è caduta su un proxy cioè il colore. Oppure semplicemente in america fa più notizia dire razzista .
Infatti, questo è il problema delle statistiche, può uscire di tutto se non sono vagliate con sale in zucca, figurarsi elaborazioni basate su quelle e lasciate andare in automatico. Ci sono famosi esempi e siti dedicati a weird statistics, googlando un attimo si trovano correlazioni assurde.
Un mondo dove le AI decideranno sempre più delle nostre vite basandosi su dati statistici mi preoccupa non poco, soprattutto perché la maggior parte delle volte non sapremo mai dell errore. Inoltre è probabile che creino circoli virtuosi/viziosi come in questo caso (dare cure migliori a chi le ha già, peggiori a chi non le ha già ) perché è insito nella loro natura.
Hahaha. ma è una citazione che non ho colto?
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".