Algoritmi neutrali e burocrazia imparziale?

di Giuseppe Motta

 

L’Amministrazione 4.0, tanto auspicata da coloro che vorrebbero “eliminare la burocrazia”, non può prescindere da una presunta neutralità degli algoritmi che la governerebbero, sempre che si riesca ad evitare che discriminazioni o errori possano inficiarli.

Di recente, però vi è una tendenza a vedere il concetto di neutralità degli algoritmi di rilevanza pubblica – utilizzati da piattaforme e servizi per filtrare contenuti e personalizzare le esperienze degli utenti – come estremamente problematica. Come si è evidenziato nei precedenti articoli, infatti, i software sono prodotti storici che riflettono la cultura e le scelte di una determinata società. Malgrado ciò è ancora dominante l’idea che la disintermediazione tecnica, con l’apparente eliminazione dell’elemento umano, faccia sparire ogni possibilità di errore e di soggettività che caratterizza i processi decisionali umani.

Secondo quanto sostenuto dagli assertori “dell’onnipotenza informatica” il metodo scientifico è ormai soppiantato dall’analisi dei big data, con la conseguenza che non sarebbe più necessaria l’elaborazione di modelli teorici. Il loro posto verrebbe preso dagli algoritmi e da correlazioni statistiche, che danno maggiori garanzie in termini di efficienza, di velocità di elaborazione, di neutralità ed efficacia decisionale. Una sorta di fideismo tecnologico per cui la nozione di correlazione sostituisce quella di causalità, “consentendo alla scienza di progredire senza la necessità di confrontarsi con modelli coerenti, teorie unificanti o spiegazioni meccanicistiche.”ⁱ

La tecnologia, invero, non è un mondo a se stante, ma è frutto di una costruzione sociale influenzata da interessi economici e politici e dalle scoperte scientifiche precedenti. Allo stesso modo gli algoritmi riflettono interessi, presunzioni di verità e pregiudizi a volte arbitrari sulla società su cui intervengono.

Gli aspetti che maggiormente influenzano la costruzione di un algoritmo sono i seguenti: il presupposto che nella fase di progettazione non abbiano interferito distorsioni sistematiche e che il risultato della sua applicazione restituisca un punto di vista oggettivo sulla realtà; l’idea che la disintermediazione tecnica dei processi complessi sia essa stessa garanzia di neutralità e infine l’ambizione secondo la quale l’output sia sempre corretto e non manipoli la realtà secondo logiche determinateⁱⁱ.

Il programmatore spesso ipotizza che un software di apprendimento o una classificazione manuale siano input in grado di rappresentare in modo completo un determinato fenomeno. L’oggettività dell’output è quindi presunta ed è fondata sul presupposto della correttezza della formulazione dell’algoritmo; di conseguenza il suo funzionamento, anche nei casi più complessi di intelligenza artificiale, dipende dalle scelte umane effettuate al momento dell’ingegnerizzazione del software ed è, proprio per questo motivo, più o meno soggetto ad errori ed a distorsioni culturalmente indotte. Sul piano giuridico tale situazione è evidenziata da un noto caso giurisprudenziale che riguarda la situazione lavorativa dei cd. Riders.

Un’ordinanza del Tribunale di Bologna emessa il 31/12/2020 (da cui sono tratte le citazioni che seguono), ha infatti statuito in relazione all’uso di una piattaforma informatica da parte di una società di distribuzione. Questa, distribuiva il lavoro tra i rider sulla base di un sistema selettivo automatizzato di prenotazione delle sessioni di lavoro, basato sul punteggio attribuito dall’algoritmo a ciascun rider ed elaborato sui due parametri dell’affidabilità e della partecipazione. In relazione a quest’ultimo parametro applicato dalla società, il punteggio veniva attribuito a prescindere dalle cause della “mancata partecipazione alla sessione prenotata o di cancellazione tardiva della stessa per le altre cause legittime ipotizzate in ricorso (malattia, handicap, esigenze legate alla cure di figli minori, ecc.): in tutti questi casi il rider vede penalizzate le sue statistiche indipendentemente dalla giustificazione della sua condotta e ciò per la semplice motivazione, …, che la piattaforma non conosce e non vuole conoscere i motivi per cui il rider cancella la sua prenotazione o non partecipa ad una sessione prenotata e non cancellata. Ma è proprio in questa “incoscienza” … e “cecità” … del programma di elaborazione delle statistiche di ciascun rider che alberga la potenzialità discriminatoria dello stesso”. Il Tribunale evidenzia inoltre che “la circostanza che la società resistente riservi un trattamento particolare alle uniche due ipotesi (quella dell’infortunio su turni consecutivi e quella del malfunzionamento del sistema), in cui evidentemente ritiene meritevole di tutela la ragione della mancata partecipazione alla sessione prenotata, dimostra plasticamente come non solo sia materialmente possibile, ma sia anche concretamente attuato, un intervento correttivo sul programma che elabora le statistiche dei rider, e che la mancata adozione, in tutti gli altri casi, di tale intervento correttivo è il frutto di una scelta consapevole dell’azienda…” che “ha deliberatamente scelto di porre sullo stesso piano tutte le motivazioni – a prescindere dal fatto che siano o meno tutelate dall’ordinamento – diverse dall’infortunio sul lavoro e dalla causa imputabile ad essa datrice di lavoro”.

Appare evidente nel caso descritto che se gli algoritmi vengono spesso prefigurati come garanzia di neutralità, imparzialità, correttezza nelle decisioni, ciò non può essere considerata una verità assoluta: essi, infatti, sono il prodotto degli indirizzi forniti da parte di chi li detiene e sono finalizzati ai risultati per i quali vengono elaborati cioè, nella suddetta ipotesi, la massimizzazione del profitto a scapito dei diritti del lavoratore. La tecnologia, in effetti, mira a stabilire a priori come deve configurarsi il reale affinché gli scopi dei suoi creatori abbiano successo. Tale funzione performativa e trasformativa della tecnica sulla realtà è conseguenza diretta del metodo utilizzato, per cui resta decisivo lo scopo dal punto di vista economico, sociale, politico e ideologico di chi lo stabilisce.

Nella creazione e nell’uso di algoritmi dunque non vi è quella neutralità tanto decantata, perché in tutta evidenza si tratta del risultato di decisioni influenzate più o meno direttamente dagli essere umani. Tali decisioni non saranno evidentemente frutto della volontà generale, ma dei soggetti economici e sociali che hanno il potere, politico ed economico, per farlo.

Questi ultimi creano algoritmi che provvedono a raccogliere, analizzare e correlare i dati sulla base di elementi che non sono e non vogliono essere neutrali e, spesso, sono il frutto di precise scelte culturali che rappresentano appunto il prodotto di quegli stessi interessi di cui si è detto. Il risultato, dunque, non può non essere che l’estrinsecazione della “narrazione” di una società creata ad hoc, il più delle volte discriminatoria o portatrice di interessi di parte.

Il software Compass rappresenta il prototipo dell’esempio di come un algoritmo possa influenzarne l’output, riproducendo o addirittura amplificando pregiudizi o discriminazioni preesistenti. In breve, Compass è un software utilizzato in alcuni stati americani per analizzare una serie di dati relativi ad un imputato al fine di produrre un rapporto circostanziato sulle caratteristiche della persona e sulla sua pericolosità sociale e che dovrebbe aiutare i giudici a giudicare, il software in definitiva si limita a stabilire punteggi di probabilità della recidiva. Ad avviso dei creatori la funzione del software è quello di porre in essere analisi più accurate e con meno pregiudizi rispetto a quelle svolte dagli uomini, attraverso l’uso dei cd. big data e del machine learning avanzato. I limiti di Compass si sono rilevati in particolare per il fatto che tende a proiettare sul futuro le accuse passate fatte all’imputato, riproducendo i pregiudizi e aumentando la stigmatizzazione razziale della società americana. Gli algoritmi, infatti, nella maggior parte dei casi, prevedono il futuro come se fosse la continuazione del passato. La conoscenza e la capacità di elaborazione dei dati diventa essa stessa emanazione di un potere (in questo caso quello giudiziario). Michel Foucault aveva compreso come il potere sugli altri coincideva con il conoscere e oggi, attraverso il digitale, si realizza una nuova forma di controllo molto più pervasivo. Tripadvisor ad esempio, attraverso i giudizi dei frequentatori delle attività commerciali oggetto del portale, attribuisce un valore agli stessi, di conseguenza vi esercita un controllo. Allo stesso modo, quando il giudizio ha ad oggetto la persona, esso si trasforma in controllo. Tornando a Compass si può quindi dire che il vincolo interno al Codice sorgente per taluni aspetti si estende al diritto. Il digitale introdurrebbe una nuova legalità e permetterebbe di stabilire delle correlazioni, che divengono vincolanti nella pratica, anche se esse non corrispondono all’applicazione della legge o alla verità processualeⁱⁱⁱ.

Vi è, peraltro, un altro aspetto della discriminazione dell’algoritmo, il cd. Digital divide: e cioè l’esclusione di coloro che non hanno accesso o non sono in grado di usare consapevolmente le tecnologie su cui si basano le infrastrutture digitali. Al riguardo si può osservare come sussista una sorta di circolo vizioso: la presenza di situazioni di svantaggio è infatti alla base del digital divide, il quale a sua volta intervenendo su disparità già esistenti le amplifica.

Ciò è di tutta evidenza nel settore pubblico; è ormai prassi il fatto che l’accesso a benefici assistenziali sia subordinato alla registrazione ed all’utilizzo di piattaforme informatiche delle pubbliche amministrazioni coinvolte. Per far ciò occorre disporre di un pc collegato ad Internet, dotarsi dello SPID o della CIE, inoltrarsi in un’interfaccia sconosciuta che risponde a logiche meramente burocratiche ed è spesso quanto di più lontano si possa immaginare dall’user-friendly, conoscere le normative a cui si fa frequente riferimento per la corretta compilazione dei format, ecc.. Ciò non può che allontanare sempre più i cittadini dai benefici che scaturiscono dall’accesso agli stessi. Emblematica è la vicenda del bonus edilizia, su cui non ci si soffermerà, ma che per la complessità delle procedura previste, peraltro spesso modificate in corso d’opera, ha fatto si che vi abbia avuto accesso, per lo più, solo chi aveva competenze specialistiche, aprendo la strada ad enormi speculazioni (in alcuni casi truffe) ed alla totale impossibilità per chi ne aveva invece un reale bisogno. Con evidenti conseguenze in termini di equità, discriminazione ed esclusione.

Come si è evidenziato, ad esempio per l’applicazione della legge sulla cd. “buona scuola”, anche nella Pubblica Amministrazione si parla sempre più frequentemente dell’uso dell’Intelligenza Artificiale (IA). Gli algoritmi che la governano sono il più delle volte oscuri tanto da essere definiti dei “black box”, locuzione con la quale si intende la totale incomprensibilità che contraddistingue alcuni sistemi di IA applicata ai procedimenti amministrativi, tale da rendere inaccessibili i meccanismi di funzionamento e il percorso seguito nella elaborazione degli input per arrivare al provvedimento finale. In altri termini si ha una black box quando non è possibile comprendere “l’iter logico” seguito dalla macchina per raggiungere l’obiettivo assegnato. Già questa spiegazione basterebbe da sola a rendere il sistema incompatibile con il principio di trasparenza che dovrebbe regolare tutta l’attività amministrativa. D’altra parte, però, non tutti gli algoritmi di IA in campo “amministrativo” possono essere considerati come black box, anche se, allo stato dello sviluppo scientifico attuale, tali possono essere considerati quelli di Deep Learning. In queste ipotesi, viene portato alle estreme conseguenze “il tendenziale disallineamento tra l’elaborazione informatica complessa di dati e il ragionamento giuridico, poiché in essi il modello viene costruito a posteriori dalla macchina che, quasi invertendo il metodo scientifico moderno che dalla ipotesi giunge alle tesi, individua, nella mole di dati a disposizioni, schemi ricorrenti, pattern, regolarità statistiche; la decisione è pertanto fondata sui dati e non vi è una spiegazione ragionevole del risultato perché il sistema non è geneticamente costruito per dare motivazioni”^iv.

Ben diversa è invece la regola giuridica su cui si fondano le decisioni e che rispondono ad un modello normativo che è rappresentato dalla fattispecie astratta la quale viene applicata al caso concreto sulla base delle informazioni raccolte, attraverso il procedimento amministrativo, al fine di adottare un provvedimento che sia ragionevole e comprensibile nelle motivazioni e nelle procedure adottate.

In conclusione la normativa vigente ha chiaramente dato indicazioni certe circa l’importanza dell’utilizzo dei sistemi informatici dell’attività burocratica, stabilendo, tra l’altro, che “le Pubbliche Amministrazioni nell’organizzare autonomamente la propria attività utilizzano le tecnologie dell’informazione e della comunicazione per la realizzazione degli obiettivi di efficienza, efficacia, economicità, imparzialità, trasparenza, semplificazione e partecipazione”^v. La giurisprudenza amministrativa ha però chiarito quali sono gli elementi di minima garanzia per ogni ipotesi di utilizzo di algoritmi in sede decisoria pubblica, stabilendo l’indispensabilità della presenza di alcuni requisiti che rendono validi gli algoritmi utilizzati; in particolare è indispensabile: la “piena conoscibilità a monte del modulo utilizzato e dei criteri applicati e l’imputabilità della decisione all’organo titolare del potere, il quale deve poter svolgere la necessaria verifica di logicità e legittimità della scelta e degli esiti affidati all’algoritmo”, attraverso una “declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico”^vi.