La tecnologia ha delle falle che provocano sessismo e razzismo. Ma siamo in tempo per cambiare rotta. C’è chi sta provando a mutare le cose, come Joy Buolamwini, la poetessa dei codici del MIT.
Quando Joy Buolamwini (32 anni), si è accorta che il robot a cui stava lavorando riconosceva meglio il viso del coinquilino, anziché il suo, ha capito che c’era un problema. Il sistema di riconoscimento facciale faticava alle prese con una donna afroamericana, mentre non aveva alcuna difficoltà con un ragazzo bianco. È stato in quel momento che la ricercatrice del Massachussets institute of technology (Mit), prestigioso istituto di tecnologia statunitense, ha deciso di studiare meglio la questione analizzando le tecnologie di riconoscimento facciale sviluppate da tre colossi hi-tech: Microsoft, Ibm e Face++ (startup cinese che ha incassato oltre 500 milioni di dollari di finanziamenti). I test condotti tra il 2015 e il 2016 hanno mostrato che nell’analizzare i volti di uomini bianchi, i prodotti Microsoft non hanno sbagliato neanche una volta, quelli di Ibm hanno avuto un tasso di errore irrisorio (0,3 per cento). Il quadro è cambiato nel momento in cui si è trattato di identificare i volti delle donne di colore: la probabilità di valutazioni non corrette è salita al 21 per cento nel caso di Microsoft e al 35 per cento per Ibm. Un risultato che ha portato la ricercatrice a constatare l’ampiezza del problema e l’ha spinta a fondare l’Algorithmic justice league, un’organizzazione che punta a un mondo hi-tech più inclusivo nei confronti delle minoranze. Era il 2016, nel 2021 non molto è cambiato e Buolamwini non è la sola a portare avanti una battaglia contro i pregiudizi e le discriminazioni della cosiddetta intelligenza artificiale.
Perché l’intelligenza artificiale è razzista e sessista
«Quando parliamo di intelligenza artificiale, spesso intendiamo tecniche complesse di apprendimento supervisionato», spiega a Changes Ciro Cattuto, professore di informatica dell’Università di Torino e ricercatore della Fondazione ISI. In pratica, si tratta di algoritmi di apprendimento automatico che vengono allenati a individuare schemi ricorrenti in un insieme di dati. Banalizzando, se volessimo insegnare a un algoritmo come distinguere l’immagine di un’arancia da quella di una ciliegia, dovremmo fornirgli molti esempi di immagini di arance e ciliegie annotate con la classificazione corretta. Per imparare, quindi, gli algoritmi hanno bisogno di dati. Dati che, precisa Cattuto, riproducono storture già esistenti nella società. Per esempio, molti algoritmi che classificano le immagini sono addestrati usando ImageNet: un archivio di oltre 14 milioni di foto in cui il 45 per cento di scatti proviene dagli Stati Uniti, e solo il 3 per cento da Cina e India. Un database che non rappresenta adeguatamente cinesi e indiani, nonostante costituiscano i due terzi della popolazione mondiale. Di conseguenza, i sistemi sviluppati a partire da queste informazioni sono più bravi a riconoscere uomini e donne dalla pelle bianca.
A volte rendere i dati più rappresentativi è impossibile: basti pensare a un algoritmo sviluppato per valutare le candidature di lavoro in un settore in cui esiste una disparità di genere. Altre non è solo un problema di rappresentatività: i dati possono ereditare pregiudizi impliciti ed espliciti presenti nella società. È quanto successo nel 1980 in una scuola di medicina del Regno Unito che ha scelto di mettere a punto un programma informatico per scremare i candidati in eccesso: l’hanno addestrato con i dati sulle ammissioni degli anni precedenti che gli hanno mostrato a quali parametri associare l’accettazione. Ma si è poi scoperto che chi aveva valutato i candidati negli anni precedenti aveva discriminato donne e immigrati, con il risultato che l’algoritmo ha imparato a discriminare donne e immigrati. Come scritto in un articolo pubblicato sulla rivista medica British medical journal, «il programma non ha introdotto alcun nuovo pregiudizio, ma ha semplicemente riflesso quelli già esistenti nel sistema». Il problema può anche annidarsi nelle intenzioni di chi ha disegnato il programma, che può scegliere di privilegiare determinate categorie o il profitto a discapito delle persone. Persino i parametri che vengono indicati all’algoritmo per le valutazioni possono essere spinosi: per giudicare un buon dipendente si può considerare la puntualità o la capacità di vendere più prodotti. Nel primo caso, verranno penalizzati i dipendenti meno abbienti che difficilmente vivono in centro, devono prendere i mezzi pubblici, e hanno più probabilità di arrivare in ritardo. Infine, c’è da considerare la composizione demografica degli scienziati al lavoro sull’intelligenza artificiale: per lo più uomini bianchi. Un combinato di fattori che rende le decisioni degli algoritmi spesso discriminatorie nei confronti di alcune etnie, di un determinato genere, o di una particolare classe sociale.
Discriminazioni: esempi pratici e settori a rischio
La questione è oggi sempre più rilevante, dato che gli algoritmi regolano molti aspetti della nostra vita, spesso in sordina: stabiliscono cosa vediamo sui social network, cosa acquistiamo online, chi può ricevere un prestito, i pazienti con malattie croniche che sono più a rischio ospedalizzazione, i candidati più adatti per un lavoro e via discorrendo. Un report redatto dal professor Frederik Zuiderveen Borgesius per il Consiglio d’Europa (organizzazione internazionale che ha lo scopo di promuovere diritti umani, democrazia e stato di diritto) individua sei settori a rischio: prevenzione del crimine, selezione di candidati e studenti, strumenti di traduzione, ricerca e analisi di immagini, pubblicità e acquisti. A cui va aggiunto quello sanitario. Uno studio pubblicato su Science nel 2019 ha mostrato che un algoritmo molto usato negli ospedali statunitensi ha meno probabilità di segnalare un paziente di colore per i programmi che hanno l’obiettivo di migliorare le cure per chi ha bisogno di particolari trattamenti.
Uno dei casi di discriminazione più noti riguarda COMPAS, un sistema che alcune autorità degli Stati uniti sfruttano per capire chi ha più probabilità di commettere nuovamente un crimine. Nonostante il programma non consideri come parametri né l’etnia né il colore, un’inchiesta del giornale investigativo ProPublica ha mostrato che per gli individui di colore l’algoritmo prevede un numero sproporzionato di falsi positivi, ovvero classifica come ad alto rischio individui che però successivamente non compiono un altro reato. Le cose non vanno meglio sul fronte dei sistemi di riconoscimento facciale a disposizione delle forze dell’ordine, che hanno fatto la loro prima vittima a noi conosciuta nell’ottobre del 2018: Robert Julian-Borchak Williams, un uomo nero finito in prigione per trenta ore e costretto a pagare mille dollari di cauzione perché accusato ingiustamente di aver rubato alcuni orologi nel negozio di lusso Shinola. Ad aver puntato il dito contro di lui è stato un algoritmo incaricato di confrontare le immagini salvate dalle videocamere con i database a disposizione delle forze dell’ordine. Ma non c’è bisogno di arrivare a questi estremi per rendersi conto della fallacia di queste tecnologie. Significativo è un esperimento condotto dall’organizzazione AlgorithmWatch con Google vision cloud, un servizio per il riconoscimento delle immagini: il termometro elettronico stretto in una mano bianca era classificato come “dispositivo elettronico”, mentre in una mano di colore nero diventava una pistola.
Come sopravvivere in un mondo dominato dagli algoritmi
Negli ultimi anni i grandi colossi hi-tech hanno cercato di essere più attenti alla questione. Facebook e Instagram (entrambi di proprietà di Mark Zuckerberg) hanno creato dei team ad hoc per studiare i pregiudizi dei propri algoritmi. Amazon ha deciso di chiudere un progetto sperimentale con cui ambiva a setacciare il web per trovare i candidati ideali per un lavoro. Il motivo? Hanno scoperto che l’intelligenza artificiale messa a punto discriminava sistematicamente le donne per le posizioni tecniche, come lo sviluppo di software. Un contributo per migliorare la tecnologia può arrivare dalla creazione di dataset e gruppi di lavoro più rappresentativi, ma non basta. «Avere algoritmi perfetti e imparziali è impossibile. Viviamo in un mondo imperfetto e la tecnologia, come uno specchio, lo riflette», dice a Changes Caroline Sinders, ricercatrice e artista. Nel 2017 Sinders ha creato Feminist data set, un pluripremiato progetto artistico. Va avanti tutt’ora, proponendosi di mettere in discussione e analizzare ogni passaggio che porta allo sviluppo di questi sistemi in un’ottica femminista. «Dobbiamo chiedere una regolamentazione dell’impiego dell’intelligenza artificiale, nonché una maggiore trasparenza riguardo al suo funzionamento e al modo in cui viene usata». Equità, responsabilità e trasparenza sono le richieste di una comunità che riunisce gli scienziati al lavoro su questi aspetti dell’apprendimento automatico: FAT/ML (Fairness, accountability and transparency in machine learning).Tra loro, ricercatori di Microsoft e Google. Anche l’Unione europea abbraccia questo approccio: a inizio 2020 la Commissione ha presentato un documento di indirizzo in cui si affronta il problema di una possibile regolamentazione. Qualche passaggio: i dati usati per allenare questi sistemi devono essere diversi abbastanza da evitare risultati discriminatori e accessibili alle autorità regolatorie. In alcuni casi, si prospetta di addestrare nuovamente i programmi con dati europei prima di utilizzarli all’interno dell’Unione. Tuttavia, secondo AlgorithmWatch, non è ancora abbastanza: «Nonostante alcune promettenti proposte normative, il programma della Commissione non riesce a valutare seriamente i rischi dei sistemi automatizzati», scrive l’organizzazione in un post sul loro sito.
