Un algoritmo discrimina le persone di colore per le cure negli USA

Un algoritmo discrimina le persone di colore per le cure negli USA

Un gruppo di ricercatori mette in evidenza i pericoli di un algoritmo di AI non adeguatamente composto o allenato per prendere decisioni: il rischio di discriminazione è dietro l'angolo anche se il presupposto è la neutralità

di pubblicata il , alle 12:01 nel canale Scienza e tecnologia
 

Le tecniche di Intelligenza Artificiale, con i loro algoritmi predittivi, si sono ritagliate spazio in diversi campi di applicazione e aree della società, compresa quella sanitaria. Esiste però la preoccupazione, suffragata anche da una recente ricerca, che questi algoritmi possano incamerare una qualche forma di pregiudizio: non certo perché gli algoritmi operino per simpatie o antipatie ma perché la programmazione alla base, o il dataset con cui l'algoritmo predittivo viene allenato, possano essere in qualche modo viziati anche in maniera involontaria o inconsapevole.

Abbiamo citato una recente ricerca: un gruppo di ricercatori ha pubblicato sull'ultima edizione di Science i risultati di uno studio che ha dimostrato come un algoritmo predittivo usato in svariate strutture ospedaliere negli Stati Uniti abbia compiuto sistematiche discriminazioni verso i pazienti di colore, negando loro l'accesso ad un determinato programma sanitario di cure e trattamenti e dando priorità a pazienti bianchi. I ricercatori hanno avuto un'opportunità preziosa da sfruttare, in quanto spesso i dettagli di programmazione degli algoritmi e i dataset usati per il loro allenamento sono proprietari e cioè con accesso ristretto esclusivamente al team di sviluppo e alla società incaricata di realizzare l'algoritmo. In questo caso invece si è trattato di informazioni disponibili, fattore che ha permesso di condurre uno studio accurato ed approfondito.

L'algoritmo aveva lo scopo di valutare quali pazienti avrebbero tratto il maggior beneficio dall'accesso ad un programma di cure ad alto rischio, con staff medico dedicato e incontri extra-appuntamento. I ricercatori hanno comparato il risk score generato dall'algoritmo ad altre metriche utili ad indicare lo stato di salute nella vita reale dei pazienti (come la presenza e il numero di malattie croniche, per esempio), scoprendo che le persone di colore venivano costantemente sottovalutate. Secondo le stime dell'algoritmo il 18% dei pazienti che meritano l'accesso a questo genere di programmi sarebbero di colore, ma i ricercatori hanno calcolato che il numero reale dovrebbe essere più vicino al 47%.

Il processo decisionale fallato

Il processo decisionale dell'algoritmo è ovviamente stato progettato per essere neutrale. Il problema individuato dai ricercatori è però la presenza di una variabile chiave su cui si basa la valutazione, e cioè su quale fosse il totale di spesa sanitaria per singolo paziente fino al momento della valutazione: a spesa maggiore corrispondeva una maggior considerazione per l'ingresso nel programma di cure. Una variabile che si scontra però con la realtà dei fatti della società statunitense, dove sui grandi numeri le persone di colore tendono a rivolgersi con meno frequenza alle strutture ospedaliere rispetto ai bianchi, perché vivono in condizioni economiche meno favorevoli. E di norma quando le persone di colore si rivolgono ad un ospedale, sono in condizioni sanitarie più gravi perché le problematiche croniche spesso non vengono trattate. "Le discriminazioni sorgono perché l'algoritmo si basa più sui costi della sanità che sulle condizioni di salute, ma un accesso iniquo alle cure significa che spendiamo meno soldi per i pazienti di colore rispetto ai pazienti bianchi" osservano gli autori.

In questo caso il problema risiede in una delle variabili della valutazione, ma i problemi possono sorgere anche nel caso in cui un algoritmo viene allenato su un dataset non sufficientemente ampio e variegato. Per fare un parallelismo è come se un'automobile a guida autonoma venisse allenata solo in una specifica località: si "appoggerebbe" solamente sulle peculiarità locali e non sarebbe in grado di entrare in contatto con dinamiche e problematiche proprie di una casistica più ampia.

E' ovviamente impossibile approcciarsi alla scrittura di un algoritmo cercando di anticipare tutte le eventuali "parzialità" che possano influire sui risultati. L'approccio dovrebbe essere l'inverso: pensare a come i dati pendenti (a prescindere da quali siano) possano influire su una data applicazione e controllare quindi i risultati, usando metodi di AI che possano consentire di comprendere perché un algoritmo è arrivato alla conclusione a cui è arrivato, e quindi procedere a ritroso e correggere il problema.

I ricercatori sono ora al lavoro con Optum per ricalibrare l'algoritmo e auspicano che altre compagnie vogliano rivolgersi loro per una verifica delle loro soluzioni AI. "E' impensabile che gli algoritmi di chiunque altro non siano affetti da un problema simile. Speriamo che questa ricerca porti l'intero settore a sensibilizzarsi al problema" hanno dichiarato i ricercatori.

19 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
ferste29 Ottobre 2019, 13:01 #1
L'algoritmo ha dichiarato di non essere razzista e di non avere nulla contro i neri, va anche a Messa tutte le domeniche.
Doraneko29 Ottobre 2019, 13:16 #2
Siamo alle solite, algoritmi e AI da "correggere" perché non piace il loro concetto di neutralità
Razzismo ovunque
cignox129 Ottobre 2019, 13:17 #3
Quindi, se ho ben capito, l'algoritmo non discrimina le persone di colore ma quelle che hanno "speso meno" in interventi sanitari.

Visto che il colore non é un fattore che rientra nel calcolo, non vedo come la si possa chiamare discriminazione verso i neri. Anzi, questa affermazione mi pare razzista: i bianchi con meno disponibilitá economica hanno diritto a meno tutela rispetto ai neri con meno disponibilitá economica?

Buono che correggano l'algoritmo se presenta un problema, ma non sono sicuro di quali risultati vogliano ottenere: nel momento in cui stili una classifica in base a dei parametri, al 90% farai un "torto" verso una qualche comunitá/"razza"/estrazione sociale che in qualche modo condivide i parametri economici, culturali, fisici o di abitudini che stai usando.

Poi, per caritá, si puó sempre fare meglio ed é giusto continuare a migliorare.
turcone29 Ottobre 2019, 13:24 #4
penso che sia normale una discriminazione dato che di solito questi algortmi si basano sulle statistiche quindi se da un grosso peso alla media è normale che certe etnie siano discriminate
marchigiano29 Ottobre 2019, 14:06 #5
spero tanto che un giorno le AI riusciranno a decimare la popolazione umana... non se ne può più di queste cavolate vita solo ai meritevoli
Saturn29 Ottobre 2019, 14:25 #6
Originariamente inviato da: ferste
L'algoritmo ha dichiarato di non essere razzista e di non avere nulla contro i neri, va anche a Messa tutte le domeniche.


Ahahahahah....
fra5529 Ottobre 2019, 15:38 #7
Razzisti ovunque
omerook29 Ottobre 2019, 15:56 #8
Voi scherzate perché questa volta largoritmo se la è presa con i neri ma qualsiasi caratteristica potrebbe essere discriminante ed in società dove l'assistenza sanitaria è a fine di lucro lasciar decidere a questi pseudo IA quando è conveniente curare per massimizzare i profitti non è per niente bello.
sbaffo29 Ottobre 2019, 16:09 #9
Originariamente inviato da: cignox1
Quindi, se ho ben capito, l'algoritmo non discrimina le persone di colore ma quelle che hanno "speso meno" in interventi sanitari.

Visto che il colore non é un fattore che rientra nel calcolo, non vedo come la si possa chiamare discriminazione verso i neri. Anzi, questa affermazione mi pare razzista: i bianchi con meno disponibilitá economica hanno diritto a meno tutela rispetto ai neri con meno disponibilitá economica?

Esatto, l algoritmo non è razzista ma classista, ma probabilmente il reddito non rientrava nei dati inseriti nell algoritmo quindi l associazione è caduta su un proxy cioè il colore. Oppure semplicemente in america fa più notizia dire razzista .
Buono che correggano l'algoritmo se presenta un problema, ma non sono sicuro di quali risultati vogliano ottenere: nel momento in cui stili una classifica in base a dei parametri, al 90% farai un "torto" verso una qualche comunitá/"razza"/estrazione sociale che in qualche modo condivide i parametri economici, culturali, fisici o di abitudini che stai usando.

Infatti, questo è il problema delle statistiche, può uscire di tutto se non sono vagliate con sale in zucca, figurarsi elaborazioni basate su quelle e lasciate andare in automatico. Ci sono famosi esempi e siti dedicati a weird statistics, googlando un attimo si trovano correlazioni assurde.

Un mondo dove le AI decideranno sempre più delle nostre vite basandosi su dati statistici mi preoccupa non poco, soprattutto perché la maggior parte delle volte non sapremo mai dell errore. Inoltre è probabile che creino circoli virtuosi/viziosi come in questo caso (dare cure migliori a chi le ha già, peggiori a chi non le ha già ) perché è insito nella loro natura.

Originariamente inviato da: ferste
L'algoritmo ha dichiarato di non essere razzista e di non avere nulla contro i neri, va anche a Messa tutte le domeniche.

Hahaha. ma è una citazione che non ho colto?
Ragerino29 Ottobre 2019, 16:45 #10
L'algoritmo non ha considerato che gli USA sono fondamentalmente un paese del terzo mondo, dove la gente non si cura perche non può permetterselo.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^