di Giuseppe Motta
Abbiamo visto come gli algoritmi richiamino i meccanismi di funzionamento e i criteri di legittimazione tipici delle burocrazie occidentali (Impersonalità, oggettività, razionalità, ecc.). È dunque consequenziale porsi la domanda se il potere che rappresentano possa essere considerato come un rafforzamento delle tradizionali forme burocratiche. Per definire tale fenomeno Aneesh ha coniato il termine “algocrazia”. Lui stesso però prende le distanze da questa affermazione chiarendo che “i sistemi algocratici, infatti, a differenza di quelli burocratici, strutturano il campo delle azioni possibili senza bisogno che gli agenti interiorizzino il rispetto per regole e leggi, né vi siano indotti dalla cognizione di punizioni: la loro azione è controllata dando forma all’ambiente in cui si svolge, e facendo in modo che siano presenti solo alternative programmate”i.
La differenza, dunque, appare evidente in particolare quando ci si intenda opporre allo scorretto esercizio del potere. Invero, chi è soggetto al potere burocratico ha gli strumenti – anche se spesso solo astratti – per comprenderne il funzionamento e contestarlo. Nel caso dell’utilizzo di algoritmi, invece, la logica sottesa al programma è fondamentalmente oscura per i destinatari delle decisioni “algoritmiche”, perché difficili da comprendere o, nella maggior parte dei casi, perché non conoscibili, per scelta del programmatore o per politica aziendale, rendendone complessa, se non impossibile, l’interpretazione
Questa difficoltà di interpretazione è causata da diverse ragioni, di norma riconducibili ad una o a più di una delle seguenti categorie: la segretezza dei dati e degli algoritmi, la complessità del linguaggio con cui l’algoritmo è stato scritto, le specifiche caratteristiche del deep learning (dove l’apprendimento avviene anche attraverso dati non forniti dal programmatore e di cui non si conosce l’origine). Queste categorie spesso operano congiuntamente e rendono particolarmente difficile la possibilità di interpretare gli algoritmi con la conseguenza che è quasi impossibile capirne gli eventuali errori e distorsioni.
Il problema assume un rilievo fondamentale se si considera che gli algoritmi sono determinanti nella vita di tutti i giorni in quanto incidono sia nella selezione delle informazioni che nella costruzione delle reti sociali. Classici sono gli esempi degli algoritmi di ricerca di Google o quelli di Facebook dove i primi tendono a dare risultati che trascendono le ragioni della ricerca a vantaggio di fini più commerciali, mentre i secondi incidono sulla costruzione della time line dell’utente che influenza la costruzione dei contenuti della rete social che vuole creare (ad esempio, mostrare o nascondere determinate attività per ragioni più o meno oscure). Allo stesso modo il problema si pone per gli algoritmi utilizzati nell’informatizzazione delle reti burocratiche della pubblica amministrazione. In questo caso infatti, come si è accennato nella prima parte, il rischio è quello della riproposizione e dell’amplificazione delle discriminazioni e dei pregiudizi presenti nella società e nei “dati” che la rappresentano; con ciò esasperando i processi sociali e le visioni del mondo semplicistiche ma maggioritarie nella società.
Malgrado ciò l’utilizzo di algoritmi basati sul machine learning e sul deep learning nella pubblica amministrazione viene sempre più considerato un vero e proprio cambio di paradigma, che dovrebbe soppiantare la vecchia “burocrazia”. In tal senso si definisce tale rivoluzione “amministrazione 4.0”, dove la 1.0 ci si riferisce all’amministrazione a cavallo tra il XIX ed il XX secolo che era totalmente cartacea; la 2.0, al periodo in cui si cominciò ad utilizzare i programmi di videoscrittura e i fax, la 3.0, la fase della prima digitalizzazione e dematerializzazione dei dati, con l’utilizzo della Rete nelle normali attività amministrative. L’amministrazione 4,0 è, invece, quella che si caratterizza per un alto grado di automazione e di interconnessione, attraverso tecniche di scambio e di conservazione delle informazioni dematerializzate e, grazie all’aumento esponenziale della capacità di calcolo dei processori, attraverso l’uso dell’intelligenza artificiale, con l’affermarsi di moduli operativi automatizzati, che sono dotati della capacità di apprendere dai propri errori e di imitare il funzionamento della mente umana. Ciò comporterebbe indubbi vantaggi per il burocrate specie per la c.d. “neutralizzazione della scelta”, che toglierebbe la paura derivante dal rischio della firma.
L’utilità è indubbia ma rimane il problema dell’inquadramento giuridico che giustificherebbe l’amministrazione 4.0. In tal senso, infatti, l’utilizzo di algoritmi autoapprendenti renderebbe inutilizzabile l’obbligo di motivazione del provvedimento amministrativo che si fonda sul principio di conoscibilità e di comprensibilità delle ragioni della scelta amministrativa per il cittadino destinatario dello stesso.
Le difficoltà di chiarire e motivare le ragioni che reggono il provvedimento adottato sulla base di algoritmi auto-apprendenti ha indotto, ad esempio, la giurisprudenza italiana a ritenere che l’algoritmo utilizzato dal Miur per l’assegnazione delle sedi ai docenti a partire delle immissioni in ruolo del 2015 sia illegittimo (per tutte Consiglio di Stato Sez. VI, sentenza n. 2270, 8 aprile 2019, da cui sono tratte le citazioni che seguono). La questine prende le mosse dall’applicazione della legge 107/2015 in base alla quale dovevano essere coperti i posti comuni e di sostegno rimasti scoperti alla conclusione della procedura ordinaria oltre che i nuovi posti destinati al potenziamento dell’offerta formativa. La procedura di assunzione, previa presentazione di domanda di partecipazione, è stata gestita da un algoritmo da cui sono scaturiti provvedimenti di assegnazione di sede che non tenevano conto delle preferenze indicate dalle rispettive domande e privi di motivazione. Il procedimento informatizzato ha causato un deficit di trasparenza nelle procedure, posto che risultavano non conoscibili le modalità di funzionamento dell’algoritmo. Inoltre ogni singolo errore dell’algoritmo si ripercuoteva sulle successive assegnazioni, amplificando gli effetti illegittimi e dannosi per i docenti.
Il Consiglio di Stato ha dato ragione ai ricorrenti premettendo però che “non può essere messo in discussione che un più elevato livello di digitalizzazione dell’amministrazione pubblica sia fondamentale per migliorare la qualità dei servizi resi ai cittadini e agli utenti” ed aggiunge che non solo l’esclusione dell’intervento del funzionario rispetta i principi dell’attività amministrativa, ma serve anche a rinforzarne l’imparzialità. In quest’ottica però diventa più pressante l’esigenza di tutela del cittadino e l’utilizzo di procedure informatizzate non potrà mai giustificare pratiche elusive delle norme di legge e poiché “l’algoritmo, ossia il software, deve essere considerato a tutti gli effetti come un atto amministrativo informatico”, ad esso va applicata la disciplina ordinaria dei provvedimenti e dei procedimenti amministrativi. Di conseguenza, chiarisce il Consiglio di Stato, “l’algoritmo deve essere conoscibile ex ante in tutti i suoi aspetti e da chiunque ne abbia interesse” e “il procedimento amministrativo è illegittimo se il funzionamento dell’algoritmo non è conoscibile e comprensibile”. Corollario di tali affermazioni è dunque che “l’algoritmo deve essere soggetto ex post alla piena cognizione e al pieno sindacato del giudice”, quindi “l’impossibilità di comprendere le modalità con le quali, attraverso il citato algoritmo, siano stati assegnati i posti disponibili, costituisce di per sé un vizio tale da inficiare la procedura”.
Un altro problema che si pone nell’uso degli algoritmi ad ausilio/sostituzione della burocrazia è legato alla proprietà del software e quindi dell’algoritmo. Invero la conoscibilità del codice sorgente è spesso bloccata dalle aziende per evidente tutela dalla concorrenza. Ciò evidentemente frustra il principio di conoscibilità cui fa riferimento la giurisprudenza citata. In questo caso vengono in contrasto l’esigenza di tutela del cittadino nei confronti di un’attività amministrativa legittima e il suo diritto alla conoscenza di tutto ciò che, all’interno del procedimento, ha portato al provvedimento finale, e l’esigenza di protezione del “copyright” da parte dell’azienda che ha creato il software utilizzato dalla pubblica amministrazione.
Se si analizza il problema da un punto di vista sociologico, si potrebbe affermare che proprio grazie alla contraddizione tra l’efficienza garantita dalla procedura informatizzata e le possibili disfunzioni che la stessa può causare, rende tale attività un presupposto (più o meno evidente) per un diffuso e pervasivo controllo sociale nelle democrazie a capitalismo avanzato. In tal senso l’algoritmo, più che la nuova burocrazia, ne rappresenterebbe il superamento. Il termine algocrazia diventa una forma alternativa di potere, una sorta di passaggio dalla weberiana gabbia d’acciaio ad una fortezza virtuale. I processi d’interazione con l’individuo sarebbero opposti nell’algocrazia. Infatti, mentre nella burocrazia l’individuo può conoscere le regole e, di conseguenza adattare ad esse il proprio comportamento, nell’algocrazia le regole, essendo sconosciute e non conoscibili possono essere solo presupposte per deduzione, attraverso l’esperienza nelle interazioni pregresse.
Di fatto, ogni volta che un utente utilizza un software per fare qualcosa più facilmente, baratta la propria discrezionalità in cambio di velocità, standardizzazione ed efficienza.
“La legittimazione del potere burocratico, quindi, in un modo o nell’altro, dipende da una legittimazione pubblica e condivisa di una norma scritta o consuetudinaria che, come tale, può essere messa in discussione. Al contrario, invece, la legittimazione dell’algoritmo in quanto autorità interpretativa rassomiglia più al potere tradizionale che a quello razionale. In altre parole, essa avviene su una base fideistica e ritualistica irrazionale, che non mette mai in discussione i meccanismi del suo funzionamento, assumendo che sia la stessa forma dell’algoritmo ad assumere i caratteri della sostanza della legittimazione”ii.
Come si può vedere, dunque, il rapporto tra burocrazia ed algoritmi, oltre ad essere piuttosto controverso in dottrina, pone non poche difficoltà nell’applicazione pratica. In base alla visione prospettica con la quale si guarda il problema, infatti, si può affermare, da un lato, che la neutralità scientifica dell’algoritmo garantisce la correttezza e la legittimità dell’attività burocratica, proprio perché svincola la decisione da quello spazio di discrezionalità che, ad avviso di Crozier, il burocrate si ritaglia nella propria attività e che rappresenta un rischio per l’imparzialità della Pubblica Amministrazione. Allo stesso modo si può dire come la presunta neutralità dell’algoritmo sia in realtà un’illusione, perché tende a perpetuare ed accrescere i pregiudizi o gli errori tecnici dello sviluppatore del software, senza lasciare spazio a quella discrezionalità tipicamente umana che garantirebbe equità e giustizia.
Quale futuro quindi per l’Amministrazione 4.0?
(Continua)