Siamo nell’era dell’algocrazia, ma non tutto è perduto

Gli algoritmi sono sempre più parte della nostra esistenza quotidiana. Una presenza pervasiva che presenta opportunità ma anche non pochi rischi, per la stessa idea moderna di algocrazia.

Gli algoritmi esercitano un potere che siamo noi stessi ad alimentare con i nostri dati, sorta di “impronte” che lasciamo nell’universo digitale e che dicono di noi cosa ci piace, cosa compriamo, come ci divertiamo. Viviamo nell’era dell’algocrazia, termine di cui parlo in cui parlo in Virtual Migration, con il quale identifico un sistema di governance in cui gli algoritmi controllano, guidano, organizzano e dirigono gli eventi e le azioni, compreso il comportamento umano. Per stabilire la novità dell’algocrazia, l’ho distinta da altri tre sistemi di governance: burocratica, panoptica e di mercato. Burocrazia significa “regola dell’ufficio”, dove il potere non risiede nelle persone ma nelle gerarchie. I sistemi di governance panottici si basano, invece, sulla “regola dello sguardo”, che guida l’azione attraverso la sorveglianza. A differenza dei sistemi di mercato, dove il principio dominante che guida il comportamento delle persone e delle imprese come tutti riconoscono intuitivamente, è il prezzo, i sistemi algocratici sono animati da ciò che io chiamo “regola dell’algoritmo”.

Sia chiaro che l’algocrazia non pretende di riferirsi a un insieme preciso o a un tipo di algoritmi. Piuttosto, proprio come il bureau della burocrazia si riferiva a tutti i tipi di uffici, organizzazioni, governi e società che seguono il principio giuridico-razionale della governance, l’algocrazia si riferisce a tutti i sistemi di governance algoritmici, programmabili, caratterizzati dal classico schema input-output.

​È curioso che io sia arrivato al concetto di algocrazia in cui parlo nel mio libro da due direzioni diverse: la teoria e il lavoro sul campo. Nel 1998, alla scuola di specializzazione, avevo scritto e presentato un saggio teorico su quella che all’epoca chiamavo iperburocrazia. Ma durante il lavoro sul campo del 1999 è diventato chiaro dove mi stava conducendo il mio lavoro. Stavo facendo ricerche su società di software globali in India e rimasi colpito dal fatto che la maggior parte del software che usavamo non veniva sviluppata in un solo luogo. Al contrario ho notato che la maggior parte era sviluppata da programmatori seduti in luoghi molto distanti tra loro. Gruppi di lavoro diversi con sede in continenti diversi, spesso contribuivano allo stesso progetto nello stesso momento. Questo semplice fatto è stato un rompicapo per me. Le teorie delle organizzazioni mi avevano preparato a cercare un livello manageriale intermedio per coordinare le attività delle burocrazie a più unità. Ma analizzando lo sviluppo globale del software, non esisteva alcun livello manageriale intermedio per coordinare i diversi team. Deve essere stato l’autunno del 1999 ed ecco la rilevazione. Un giorno ero seduto all’interno di una società di software e guardavo la schermata di lavoro di un programmatore. Improvvisamente mi fu chiaro che era il codice stesso a svolgere la funzione di middle manager. Esistevano così tanti controlli di accesso integrati nella piattaforma software che non era necessario alcun manager umano. La governance era codificata nella piattaforma organizzativa stessa. È stato in questo periodo che ho coniato il termine “algocrazia” per indicare un nuovo sistema di governance in cui l’autorità è sempre più incorporata nella tecnologia stessa. Il termine ha trovato spazio nella mia tesi di laurea del 2001 e più tardi, naturalmente, nel mio libro, Virtual Migration.

Mi sono anche reso conto che l’algocrazia era chiaramente diversa dalla burocrazia. Le regole burocratiche dovevano sempre essere interiorizzate da chi le seguiva. Il cassiere della banca, per esempio, era chiamato a decidere se una persona fosse idonea a effettuare un prelievo allo sportello applicando le regole. Ma i sistemi algocratici modellano il possibile campo d’azione senza richiedere alla persona di internalizzarne le norme. Gli algoritmi incorporati negherebbero o consentirebbero una richiesta di prelievo online senza richiedere a nessuno di internalizzare le regole. Allo stesso modo, non conosciamo gli algoritmi di Google o di Facebook, anche se sono alla base del nostro possibile campo d’azione.

Negli ultimi anni sono stato felice di vedere che l’algocrazia è diventata un campo d’indagine a sé stante e il problema della governance algoritmica ha catturato anche l’attenzione dei media. Oggi questo concetto sembra essere penetrato in ogni aspetto della società. I sistemi algocratici non solo organizzano gli ambienti di lavoro, ma anche parti della nostra vita sociale, i nostri consumi, le piccole e grandi decisioni. Spesso arrivano anche a organizzare la nostra stessa percezione del mondo. Gli algoritmi di routing delle applicazioni cartografiche ci indirizzano verso i luoghi; gli algoritmi delle applicazioni musicali ci guidano verso la nostra prossima canzone; gli algoritmi di Facebook decidono il newsfeed per quasi 3 miliardi di utenti attivi; i sistemi di ricerca prevedono quali informazioni possiamo voler recuperare da una grande massa di dati, e le applicazioni di dating ci aiutano a scegliere il nostro prossimo partner da una directory curata dai loro algoritmi. La lista potrebbe essere infinita. I sistemi algocratici sono diventati un orizzonte sempre più presente della nostra vita.

​Sarebbe più facile capire gli effetti dell’algocrazia se comprendessimo due tendenze delle società tardo-moderne. La prima è la tendenza alla liquefazione: convertire ciò che prima esisteva in forma materiale in una forma di dati “liquidi”. Ricordo quando è stato rilasciato per la prima volta Microsoft Office e la gente scherzava sul fatto che non fosse altro che un semplice disco. Invece MS Office conteneva cartelle, file e database che potevano riempire gli armadietti fisici negli uffici; aveva a disposizione programma di contabilità che poteva scaricare dati “reali” ed elaborarli; e più tardi si è dotato anche di una segretaria che poteva scrivere i nostri appunti dietro dettatura. Questa liquefazione di cose materiali in dati è stato solo l’inizio. Guardate l’attuale pandemia, l’idea stessa di lavorare collettivamente sotto un unico tetto d’ufficio si sta smaterializzando. Guardate come ogni processo, ogni pensiero, ogni scenario, paesaggio, ogni curva della strada viene convertito in dati. E sembra essere solo l’inizio di un’esplosione di dati.

Questo mi porta alla seconda tendenza: tutti questi grandi dati non hanno senso così come sono e nessun essere umano è in grado di dare a questo enorme massa un significato. È qui che entra in gioco l’algocrazia. Attraverso i suoi algoritmi di machine learning, cerca di domare la profusione di dati ed estrarne un significato per le parti interessate. Un aspetto positivo che, però, non può nascondere il timore della presenza di diversi rischi. Ciò che è interessante sottolineare è che l’obiettivo dell'”algocrazia” stessa è quello di evitare sorprese e contenere i rischi. Tuttavia, la percezione dei rischi continua ad aumentare perché le interazioni tra nuovi sistemi, persone e dati produrranno nuove incertezze e nuovi rischi, e il ciclo probabilmente continuerà.

​Permettetemi di concentrarmi su un particolare sviluppo che ci dà un’idea delle opportunità ma anche del livello crescente di rischi legati all’uso degli algoritmi. I sistemi algocratici per l’apprendimento approfondito hanno iniziato ad eccellere nella diagnosi del cancro, nell’individuazione delle galassie, nella gestione delle aziende agricole, nella logistica, nella robotica. Poiché la capacità di tali sistemi di apprendimento automatico sta accelerando, possiamo aspettarci di assistere a progressi più rapidi nell’analisi delle malattie, del clima, dell’uso dell’energia, dei materiali a basso contenuto di carbonio, della deforestazione.

Tuttavia, essi pongono anche rischi unici. Gli strumenti di machine learning sono veramente di natura algoritmica. Noi forniamo grandi dati all’algoritmo generico, che poi costruisce la propria logica basata su un enorme complesso di variabili, condizioni e reti neurali. Questo è un modello costruito dal sistema per sé stesso, e gli esseri umani non possono comprenderlo. L’algoritmo è sì in grado di rilevare le cellule tumorali, ma non attraverso una teoria scientifica o regole conosciute. Quando un sistema di apprendimento automatico viene alimentato con migliaia di scansioni, impara a identificare le cellule tumorali in una nuova scansione. Ma lo fa senza usare il tipo di regole che usano gli esseri umani. Esamina schemi complessi di pixel più scuri e più chiari e costruisce la propria logica.

Gli studi hanno dimostrato che l’applicazione alla cieca dell’apprendimento automatico rischia di amplificare i pregiudizi presenti nei dati; per esempio, il genere e gli stereotipi razziali. Nel 2019 ne abbiamo avuto un esempio quando Goldman Sachs ha fissato la linea di credito per la carta Apple di una donna a un livello significativamente inferiore a quella del coniuge, nonostante lei potesse contare su finanze altrettanto buone. Molti pensavano che si trattasse di un caso di discriminazione di genere. Ma non esisteva un vero modo per dimostrarlo. I dipendenti dell’azienda non erano in grado di spiegare perché il sistema algocratico avesse designato quella donna come meno meritevole di credito rispetto al marito. Il modello elaborato dal sistema non era immediatamente aperto all’analisi umana. In questo modo particolare, questi sistemi diventano per noi incomprensibili. E quindi possono amplificare i rischi in alcuni campi, anche se li riducono in altri.

​Fra i rischi ovviamente penso alla nostra privacy. Credo che siano già in corso alcuni sforzi di regolamentazione. Il Regolamento generale sulla protezione dei dati nell’Unione Europea e nello Spazio Economico Europeo è stato un primo importante passo per proteggerla. Non sarà perfetto, ma rappresenta un grande passo nella giusta direzione.

Come regola generale, suggerirei di prendere in considerazione tre potenziali problemi quando si pensa a come e cosa regolare. In primo luogo, identificare se il sistema pone il problema del potere arbitrario come vediamo nei casi di sorveglianza; in secondo luogo, identificare il potenziale problema della discriminazione arbitraria attraverso possibili pregiudizi sociali nascosti nei dati; infine, tracciare una mappa relativa all’identificazione arbitraria come si nota nei meccanismi di profilazione che generano quelle che io chiamo “identità di sistema”.

Ma non basta. La maggior parte dei Paesi può contare su una qualche forma di legge antitrust come noi negli Stati Uniti. Queste norme servono a proteggere i consumatori dalle pratiche commerciali predatorie, a garantire una concorrenza leale e a tutelarsi da monopoli che potrebbero disturbare il libero ingresso dei concorrenti e aumentare i prezzi al consumo. Per l’economia dell’informazione, potremmo aver bisogno di una serie di leggi che limitino la possibilità a società come Facebook di acquisire aziende omologhe come Whatsapp e Instagram. Alcune di queste operazioni, infatti, si traducono semplicemente nell’acquisizione di dati e di reti di consumatori. Questa ed altre possibili misure politiche possono richiedere la creazione di un’agenzia indipendente per regolamentare in modo vigile le offerte e le vendite di informazioni, e richiedere alle aziende di presentare una dichiarazione di registrazione contenente informazioni su sé stesse e su come sta acquisendo informazioni, come le sta utilizzando, e con chi le sta vendendo e condividendo.

​Spesso si parla di capitalismo della sorveglianza per descrivere il predominio delle aziende che hanno reso insignificante la nozione di privacy. Ma il problema va oltre il capitalismo e la sorveglianza. In primo luogo, queste aziende non sono le uniche entità che raccolgono e conservano grandi quantità di dati sugli utenti. Lo fanno anche i governi. Nel mio libro Virtual Migration, ho accennato brevemente a un programma di raccolta dati globale del governo degli Stati Uniti chiamato Total Information Awareness, che è stato rinominato Terrorist Information Awareness dopo l’11 settembre. Nel 2013 Snowden ha fatto luce sulla portata e sull’estensione inimmaginabile di programmi simili. Oppure, considerate i programmi di raccolta dati e di sorveglianza di massa del governo cinese. Chiaramente, non sono solo queste società private a sfruttare a loro vantaggio il data mining asimmetrico. I governi stanno facendo lo stesso. Ciò rappresenta uno sviluppo profondamente inquietante.

Il problema non riguarda solo la sorveglianza, la privacy e la sicurezza. Quando usiamo la parola sorveglianza pensiamo che ci sia una persona o un gruppo che viene monitorato. Ma gli ultimi sviluppi vanno oltre la sorveglianza, producono attivamente nuove identità e nuovi costrutti. Le nostre identità finanziarie (ad esempio, i punteggi di credito), le identità mediche, le identità criminali (ad esempio, i punteggi di rischio), le identità di acquisto, sono costruite algocraticamente a nostra insaputa da tutti i tipi di attori del mercato per i loro scopi.

​In sostanza ritengo che l’algocrazia debba essere regolata per la sopravvivenza della democrazia stessa. Un rischio importante che percepisco consiste nel fatto che le algocrazie possono essere usate per spostare tematiche fondamentali dallo spazio di potere negoziabile a quello non negoziabile. C’è una tendenza crescente a programmare in anticipo certi risultati e a ridurre la negoziabilità sociale. E la negoziabilità sociale è fondamentale per le giustificazioni filosofiche della democrazia. Gli ultimi sviluppi della governance algocratica sono complessi e opachi non solo per i partecipanti, ma a volte anche per i suoi creatori. Sono difficili da incorporare nelle strutture di una democrazia aperta e deliberativa dove la negoziabilità dei processi rimane una preoccupazione fondamentale. L’importanza della regolamentazione crescerà solo con il passare del tempo.

Anche perché è diventato molto difficile comprendere se i grandi dati o i sistemi algocratici aumentano o diminuiscono il benessere generale. Questi ultimi, infatti, si stanno sviluppando a partire dalla loro inarrestabile dinamica sistemica. Non ritengo che la gente si aspettasse o richiedesse tali tecnologie per il proprio benessere, e tutto sommato se la cavava benissimo anche senza. Tuttavia, una volta introdotte tali tecnologie, dobbiamo parlare dei loro effetti sul benessere a posteriori. Ed è probabile che non sapremo mai come andrà a finire. Ad esempio, chi avrebbe potuto prevedere che la rivoluzione industriale avrebbe portato al riscaldamento globale o all’estinzione di massa di molte specie animali? Alcuni effetti saranno noti solo in futuro.

​In generale ritengo che la ragione per cui i conglomerati di dati e informazioni appaiono spaventosi risieda nel fatto che, per esempio a differenza del petrolio, non si occupano di cose materiali con chiari confini di contenimento. A differenza degli oggetti materiali, un monopolio dell’informazione può essere usato per la manipolazione, la disinformazione e il controllo. L’intera struttura istituzionale della società può in teoria cadere a pezzi. A questo proposito, possiamo paragonarle all’invenzione dell’industria delle pubbliche relazioni. L’informazione distorta può influire negativamente sulla negoziabilità sociale dei processi. L’intero apparato istituzionale delle democrazie liberali dipende dalla partecipazione del maggior numero possibile di cittadini interessati, liberi ed eguali, alla comunità politica. Un ordine politico volontario può essere mantenuto, dopo Kant e Rousseau, solo quando anche i destinatari della legge possono essere concepiti come suoi autori attraverso la partecipazione informata, la deliberazione e la negoziazione. Dal filo conduttore della partecipazione e della negoziabilità, possiamo collegare le diverse preoccupazioni sull’oligarchia dei conglomerati di dati.

Di certo la società civile potrà contribuire a cambiare la direzione della dinamica sistemica dei futuri algoritmici. Anche se non possiamo decidere del tutto la direzione del futuro, le organizzazioni della società civile possono concentrarsi su specifiche aree di interesse, come è già accaduto, per esempio, con le lotte per la neutralità della rete negli Stati Uniti. Anche i gruppi di attivisti della privacy hanno iniziato a usare la GDPR come un’arma per forzare cambiamenti nelle pratiche di gestione dei dati aziendali. Quindi, sono ottimista sul fatto che la società civile può e deve giocare un ruolo attivo per influenzare la direzione degli sviluppi algocratici.

​Articolo pubblicato su Changes Magazine – Intelligent Economy​