L’algoritmo e il paradosso dell’equità
Quando nel 2016 un team di giornalisti investigativi di ProPublica analizzò il software COMPAS, utilizzato nelle corti statunitensi per prevedere il rischio di recidivismo nei imputati, scoprirono un pattern disturbante. L’algoritmo, alimentato da tecniche di machine learning, etichettava i imputati neri come a rischio elevato con una frequenza doppia rispetto ai imputati bianchi, anche quando le previsioni si rivelavano errate. Il caso sollevò un dibattito destinato a durare anni: è possibile costruire algoritmi decisionali veramente equi?
La risposta dei ricercatori, sorprendentemente, sembra essere negativa. Non per mancanza di buona volontà o risorse tecniche, ma per una ragione matematica profonda: i diversi modi di definire la fairness sono intrinsecamente incompatibili tra loro. Questo risultato, noto come “teorema di impossibilità della fairness”, getta una luce nuova sulle promesse e sui limiti dell’intelligenza artificiale nella gestione della giustizia sociale.
La fairness: un concetto poliedrico
Cosa significa esattamente che un algoritmo sia “giusto”? Come ricorda la letteratura tecnica, in particolare il contributo di ricercatori pubblicato su AI and Ethics, il machine learning fa uso di svariate definizioni, spesso in concorrenza tra loro. La più semplice è la ripartizione demografica (demographic parity, o statistical parity), che richiede che la probabilità di ottenere un risultato positivo sia identica per tutti i gruppi protetti. Se stiamo approvando prestiti, questa definizione impone che la stessa percentuale di richieste venga accettata indipendentemente dal genere o dall’etnia del richiedente.
Una seconda definizione, più sofisticata, è quella delle probabilità uniformi (equalized odds), che richiede che i tassi di veri positivi e falsi positivi siano equilibrati tra i gruppi. Questo criterio riconosce che, se i tassi di base differiscono tra gruppi, la ripartizione demografica potrebbe produrre decisioni poco intuitive. Una terza via è l’opportunità uniforme (equal opportunity), che applica il vincolo delle probabilità uniformi solo ai veri positivi, lasciando maggiore libertà sui falsi positivi.
Ognuna di queste definizioni cattura un aspetto intuitivo dell’equità, ma come dimostrato in studi accademici, nessun algoritmo predittivo può soddisfarle tutte contemporaneamente, a meno di condizioni irrealistiche come una precisione perfetta o tassi di base identici tra tutti i gruppi.
Il teorema di impossibilità
La dimostrazione matematica di questa incompatibilità è elegante nella sua semplicità. In uno studio pubblicato su Philosophy & Technology dai ricercatori Kleinberg, Mullainathan e Raghavan, è stato formalizzato ciò che ora è noto come teorema di impossibilità: dato un algoritmo che fa previsioni binarie su una popolazione divisa in almeno due gruppi protetti, è matematicamente impossibile soddisfare simultaneamente la ripartizione demografica, le probabilità uniformi e la calibrazione predittiva (a meno che il tasso di positività reale non sia identico nei gruppi o l’algoritmo non predica perfettamente).
Questo risultato ha conseguenze pratiche immediate. Pensiamo al settore della giustizia criminale: se utilizziamo COMPAS con l’obiettivo di avere lo stesso tasso di classificazione “ad alto rischio” tra bianchi e neri (ripartizione demografica), dovremmo necessariamente accettare che i falsi positivi siano distribuiti in modo disequato, con un gruppo che subisce un tasso di errore sistematicamente più alto. Viceversa, se puntiamo alle probabilità uniformi, la composizione etnica dei detenuti predetti come “a rischio” non rifletterà quella della popolazione generale.
Come notano gli autori dello studio, questa impossibilità non è un semplice inconveniente tecnico: è una manifestazione del fatto che i criteri di fairness formalizzati in termini statistici sono in tensione tra loro. La fairness, nel senso filosofico profondo, sfugge alla cattura computazionale.
Tra formalizzazione e giustizia sostanziale
La lezione che emerge dai teoremi di impossibilità è che la distinzione tra equità formale e equità sostanziale non è solo accademica. La prima si limita a imporre vincoli statistici sulle decisioni algoritmiche: uguali percentuali di approvazione, uguali margini di errore. La seconda chiede invece che la distribuzione delle opportunità rispecchi criteri di giustizia più ampi, che tipicamente richiedono anche modifiche strutturali, non solo aggiustamenti algoritmici.
Come descrivono ricercatori di Fairlearn e altri strumenti di mitigazione, la pratica attuale consiste nell’accettare che ogni soluzione sia un compromesso. Gli ingegneri devono scegliere quale criterio di fairness massimizzare, consapevoli che questo implica sacrificarne altri. La scelta non può essere delegata alla matematica pura: è inevitabilmente politica, perché privilegia una concezione di giustizia rispetto a un’altra.
L’attuale AI Act europeo, entrato in vigore nel 2024, affronta questa complessità richiedendo trasparenza sulle decisioni algoritmiche e l’uso di dataset rappresentativi, ma non offre una definizione univoca di fairness. Questo agnosticismo normativo è forse saggio: riconoscere che la giustizia non si riduce a una formula.
L’illusione della neutralità matematica
C’è un aspetto ancora più profondo del problema. Gli algoritmi, per loro natura, apprendono dai dati storici. Se quei dati riflettono pattern di discriminazione passata — ad esempio, nel caso di dati di reclutamento che mostrano sottorappresentazione storica di certi gruppi — l’algoritmo rischia di perpetuarli, anche senza esplicite variabili protette. Questo fenomeno, noto come discriminazione indiretta, rende i bias sistemici particolarmente insidiosi.
I ricercatori hanno sviluppato tecniche sofisticate per individuare e mitigare questi problemi: l’adversarial debiasing, la pre-processing dei dati per rimuovere correlazioni proxy, la post-processing delle decisioni per riequilibrare i risultati. Ma nessuna di queste tecniche risolve il dilemma fondamentale: la scelta di quale fairness perseguire rimane soggettiva.
Come ammonisce la letteratura più recente, pubblicata anche su ACM Digital Library, rimuovere i bias richiede un connubio tra rigore informatico e sensibilità legale. La tecnologia non è neutrale: incorpora i valori di chi la progetta.
Oltre il calcolo: la governance dell’algoritmico
Di fronte ai teoremi di impossibilità, che cosa rimane? La risposta non può essere l’abbandono degli strumenti algoritmici, né la loro accettazione acritica. La sfida è piuttosto quella di una governance riflessiva, che riconosca i trade-off ineliminabili e li renda oggetto di dibattito democratico.
Alcuni studiosi propongono di abbandonare l’idea di una fairness universale in favore di approcci contestuali: che cosa significa essere giusti nel caso specifico di un algoritmo di scoring creditizio potrebbe differire da ciò che richiede un sistema di allocazione di organi per trapianto. Il contesto importa, e la matematica non può sostituirsi alla deliberazione sul bene comune.
Strumenti come l’AI Fairness 360 di IBM, Fairlearn di Microsoft e il What-If Tool di Google rappresentano progressi concreti: permettono di visualizzare gli impatti di diverse scelte algoritmiche, rendendo espliciti i trade-off che altrimenti resterebbero nascosti. Ma sono strumenti di supporto alla decisione, non oracoli che dispensano verità oggettive.
La lezione dei limiti
I teoremi di impossibilità della fairness hanno un valore che travalica la tecnica algoritmica. Ci ricordano che concetti apparentemente semplici come “giustizia” e “equità” sono in realtà polisemici, carichi di storia, cultura e valore. Non esiste una formula matematica in grado di catturare tutte le sfumature di ciò che significhi trattare gli esseri umani con la dignità che meritano.
Questa consapevolezza non deve condurre alla rassegnazione, ma a un approccio più umile e riflessivo all’innovazione tecnologica. Gli algoritmi possono essere strumenti potenti per supportare decisioni umane, ma non possono sostituire il giudizio morale e la responsabilità che restano inscindibilmente nostri.
Come conclude l’analisi di ProPublica sul caso COMPAS, la scoperta del bias razziale non è stata un malfunzionamento tecnico: è stata l’evidenza che, quando alimentati con dati storici di una società diseguale, gli algoritmi tendono a cristallizzare quelle diseguaglianze, trasformandole in “verità” oggettive con l’apparente autorità della matematica.
La sfida del XXI secolo non è costruire l’algoritmo perfettamente equo: è imparare a convivere con l’inevitabile imperfezione, rendendo trasparenti i compromessi che facciamo e garantendo che siano oggetto di un dibattito democratico inclusivo. La fairness algoritmica non è una destinazione, ma un processo continuo di negoziazione tra valori che, per loro natura, non possono essere tutti soddisfatti simultaneamente.
E forse, proprio nella riconoscimento di questi limiti, sta il primo passo verso una tecnologia più consapevole e, ironia della sorte, più equa.
Fonti principali: ProPublica (2016); Kleinberg, Mullainathan & Raghavan (2016), “Inherent Trade-Offs in the Fair Determination of Risk Scores”; Chouldechova (2017); AI and Ethics (2023); Philosophy & Technology (2022); ACM Digital Library (2025).
Share this content:
