Quote:
Originariamente inviato da frncr
Allora, il problema è che in questi algoritmi di valutazione del rischio sono entrati (per errore o per dolo) dei pregiudizi razziali e sociali. Pensa a un algoritmo che deve dare un punteggio al tuo merito creditizio, il quale determinerà se ti verrà o meno concesso il prestito che hai chiesto alla banca. Se si verifica che, a parità di ogni altro dato personale imputato nell'algoritmo, una persona nera ottiene un punteggio più basso di una persona bianca, significa che l'algoritmo è razzista, ovvero valuta l'etnia come elemento causale della capacità di una specifica persona di onorare il debito, il che ovviamente è infondato.
Allo stesso modo un algoritmo che deve calcolare la probabilità che una persona che abbia commesso un determinato reato, se scarcerato torni a delinquere, se a partità di tutti gli altri dati personali calcola una probabilità più sfavorevole per una persona nera rispetto a una persona bianca, allora quell'algortimo ha codificato al suo interno un pregudizio razziale, perché il colore della pelle non è ovviamente una causa della propensione a delinquere (indipendentemente dal fatto che le statistiche dicano che nella popolazione carceraria USA ci sono più neri che bianchi). L'autore che ho citato lo spiega molto meglio di come posso fare io, per ovvi motivi (leggi il suo curriculum).
|
In USA il parametro etnico (caucasico/asiatico/afroamericano/ecc...) è indicato solamente a scopo descrittivo, come se fosse il colore degli occhi, dei capelli, ecc...non è un parametro sul quale basare giudizi. Se venissero inseriti parametri fisionomici in certi algoritmi, anche caratteri tipo colore degli occhi o altezza potrebbero essere penalizzanti se comparissero con una certa frequenza nei tratti di criminali, di debitori insolventi, ecc...
Partendo dal presupposto che in certi computi certe caratteristiche non dovrebbero avere alcun peso, credo che per certi ambiti un algoritmo finirebbe comunque per avere i neri come etnia più sfavorita anche se il parametro razziale non fosse indicato. Metti che si debba fare un calcolo per stabilire gli interessi di un prestito, del costo di assicurazione o del rischio di recidiva per una certa tipologia di crimine. Se il risultato dell'algoritmo ti andasse a penalizzare la città di Detroit, sicuramente la cosa andrebbe a pesare sui neri, vista l'altissima percentuale della popolazione locale (~80%), pur non essendoci l'etnia nel computo. Parleresti di razzismo anche in questo caso? Guarda cosa succede qui in Italia con le assicurazioni, dove la classifica delle province più costose è dominata dal sud Italia. Secondo te sono gli algoritmi razzisti ad avere qualcosa contro "i terroni" oppure nel computo sono considerati dei dati statistici che penalizzano quelle zone a causa dell'alta incidenza di certi comportamenti? Ecco, stessa cosa può avvenire con le AI.
Tra l'altro se bisogna "penalizzare" sulla base di certi parametri, non serve tirare in mezzo le AI per far si che ci si trovi in situazioni che possono venire etichettate come razzismo. La stessa Kamala Harris, quando era procuratore a San Francisco, ha tenuto in carcere montagne di afroamericani e non credo per questioni di razzismo ma perché costoro rientravano in certi parametri. Questa questione è stata infatti una rogna non indifferente durante la sua campagna elettorale.