🤖 L'algoritmo è uguale per tutti? - Legge Zero #102
L'intelligenza artificiale è una incredibile opportunità per il sistema giudiziario (e quindi per la democrazia). Per coglierla dobbiamo conoscerne i rischi. E affrontarli.
🧭 TL;DR: ecco di cosa ci occupiamo in questo numero
⚖️ L’algoritmo è uguale per tutti? Due imputati per reati simili, Brisha (afroamericana) e Vernon (bianco), ricevono valutazioni opposte da un algoritmo predittivo. I fatti dimostrano che l’IA ha sbagliato, amplificando bias razziali anziché ridurli.
🕳 Non ci serve una scatola nera. In Europa, l’AI Act classifica l’uso dell’IA in ambito giudiziario come “ad alto rischio”, imponendo trasparenza, spiegabilità e supervisione umana.
🧠 L’IA non è neutra. I modelli generativi riflettono i dati e le visioni del mondo su cui sono addestrati. Studi accademici mostrano che ChatGPT risponde come un maschio occidentale, istruito e benestante.
🤦♂️ Le allucinazioni non sono un’eccezione. Nel diritto i casi documentati di errori dell’IA sono ormai centinaia: avvocati che citano sentenze inesistenti, indagini che usano ChatGPT come fonte impropria. In media, più di quattro casi a settimana.
👩⚖️ La risposta del legislatore. In Italia la legge 132/2025 sancisce la “riserva di umanità”: solo il giudice può scrivere le sentenza. Il CSM ammette l’IA solo come supporto sperimentale e controllato.
⚖️🆚🤖 Umani contro algoritmi? Falsa contrapposizione. Anche la giustizia umana è fallibile (giudici stanchi, errori giudiziari). L’obiettivo non è scegliere tra uomo e macchina, ma usare l’IA per rendere la giustizia umana più equa.
💊 IA in pillole
🇨🇿 in Repubblica Ceca la polizia usa ChatGPT nelle indagini e sbaglia il capo d’imputazione, 🏛️ l’UNESCO pubblica nuove linee guida sull’uso dell’IA nei tribunali, 🇺🇸 negli USA Trump firma un ordine esecutivo contro le leggi statali sull’IA dopo il fallimento della moratoria federale, 🇦🇷 in Argentina un Comune nomina un chatbot “dirigente”, 🇳🇱 nei Paesi Bassi un algoritmo per collocare i rifugiati finisce per discriminarli invece di aiutarli.😂 Meme & realtà. L’IA viene spesso raccontata come infallibile, ma bias, pregiudizi ed errori restano umani. L’unica davvero perfetta? Quella addestrata da Chuck Norris.
🤦♀️ Meme che non lo erano. Alcune donne hanno scoperto che basta cambiare genere o linguaggio del profilo (da femminile a maschile) per ottenere fino a +1600% di visibilità su LinkedIn.
🧠 Le apparenze ingannano
Florida (USA), 2014. Una ragazza di diciotto anni - si chiama Brisha, ed è afroamericana - sta tornando a casa quando vede una bicicletta da bambino incustodita davanti a un giardino. Il valore della bici è di appena 80 dollari. Brisha la prende d’istinto e si allontana insieme a un’amica, ma dopo pochi metri, pentendosi, posa la bici e scappa. Per quel gesto viene comunque arrestata.
Qualche giorno prima, non lontano da lì, un uomo di nome Vernon, 41 anni, con alle spalle condanne per rapina a mano armata, è stato fermato per aver rubato da un negozio una cassetta degli attrezzi. Valore? Circa 80 dollari anche quella. Sono due piccoli furti simili, eppure quando i loro autori vengono portati in Tribunale ricevono un trattamento diverso.
In Florida, in quegli anni, il sistema giudiziario stava sperimentando un algoritmo predittivo chiamato COMPAS. Era un software che analizzava decine di variabili - età, precedenti penali, situazioni familiari - e assegnava a ogni imputato un punteggio di rischio: in pratica, provava a prevedere se quella persona avrebbe commesso altri reati in futuro. Il giudice poteva consultare questo punteggio per prendere le proprie decisioni (ad esempio in materia di libertà su cauzione).
Nel caso di Brisha e Vernon, l’algoritmo formulò un verdetto netto: Brisha, la giovane donna afroamericana, venne classificata ad alto rischio di recidiva; Vernon, l’uomo bianco più maturo, venne valutato a basso rischio. E le conseguenze furono immediate: Brisha ricevette un trattamento più severo, Vernon uno più indulgente.
Ma la storia non finisce qui. Grazie a una famosa inchiesta giornalistica di ProPublica, sappiamo cosa è successo nei due anni successivi. La realtà ha ribaltato clamorosamente il giudizio dell’algoritmo: Brisha non ha commesso altri reati, nonostante COMPAS l’avesse bollata come “ad alto rischio”, Vernon, invece, è tornato a delinquere (è stato arrestato per un furto ancora più grave ed è finito nuovamente in prigione).
L’algoritmo, quindi, sovrastimava il rischio per gli imputati afroamericani e sottostimava il rischio per imputati bianchi, producendo decisioni formalmente “data driven”, ma sostanzialmente distorte e discriminatorie.
🔎 Questione di (mancata) trasparenza
La prima lezione importante di questo caso riguarda l’opacità degli algoritmi. Mettetevi nei panni di Brisha, etichettata come soggetto “ad alto rischio” in base a un punteggio misterioso, elaborato da una formula matematica segreta. Già, perché il funzionamento interno di COMPAS era una scatola nera: i suoi proprietari lo considerano un prodotto commerciale protetto dal segreto industriale e né i giudici né gli imputati possono esaminare come calcola esattamente il rischio.
È un problema insormontabile: come garantire un giusto processo se una parte del giudizio si basa su ragionamenti incontrollabili? Un giudice umano deve motivare le proprie sentenze e le parti di un processo dovrebbero sapere come funziona l’algoritmo. In Wisconsin, ad esempio, un uomo condannato ha fatto ricorso sostenendo che basarsi su COMPAS violava i suoi diritti, proprio perché non poteva capire né contestare quella valutazione algoritmica. La Corte Suprema statale ha riconosciuto il problema, ma ha comunque ammesso l’uso di quell’algoritmo, raccomandando cautela da parte dei giudici.
Fortunatamente, in Europa - grazie all’AI Act - l’uso di sistemi IA in ambito giudiziario è tra i casi ad alto rischio, per cui deve essere garantita sempre la trasparenza (indipendentemente dalla titolarità del sistema) e la spiegabilità (explainability) della decisione algoritmica.
🧐 Quali umani?
C’è poi un’altra questione da affrontare. Come l’algoritmo di COMPAS, i modelli di intelligenza artificiale generativa non sono infallibili. E soprattutto, non sono neutri. Non sono uguali per tutti, proprio perché molto – moltissimo – di come funzionano dipende da come sono stati addestrati, da chi li ha progettati, da quali dati hanno ingerito. E allora quando decidiamo di usarli, anche in ambito giudiziario, ci dobbiamo porre una domanda cruciale: ma davvero sappiamo cosa c’è dietro quella risposta che ci sembra così brillante, così umana?
Perché la sensazione - e credo l’abbiamo provata tutti parlando con un chatbot - è quella: “L’output dell’IA sembra proprio scritto da una persona. Sembra di parlare con un essere umano”. Sì, ma quale essere umano è un’IA come ChatGPT?
Alcuni ricercatori dell’Università di Harvard hanno provato a rispondere a questa domanda qualche tempo fa in un saggio dal titolo “Which humans?”. Hanno preso le stesse domande del World Values Survey - un’indagine globale sui valori e le opinioni delle persone - e le hanno fatte sia a campioni di popolazione di diversi paesi del mondo sia a ChatGPT. Il risultato è stato chiaro: ChatGPT risponde come un maschio, bianco, ricco, occidentale (un tedesco, un neozelandese, uno statunitense). Non perché sia razzista o elitario, ma perché è stato addestrato prevalentemente su testi e visioni del mondo provenienti da quel contesto culturale. È quello l’umano che rappresenta, anche quando risponde a quesiti giuridici.
Quindi, dobbiamo ricordarci che quando interagiamo con un chatbot non stiamo dialogando con un’entità neutra, ma con una lente culturale molto specifica, che può essere distante – anche di molto – da quella di chi è soggetto a una decisione, da quella dell’avvocato o del giudice.
Il paradosso è evidente: la tecnologia promette neutralità, ma - se programmata male e addestrata su dati distorti - rischia di amplificare le discriminazioni invece di eliminarle.
🍄 Le allucinazioni dell’IA
In ambito giudiziario, un altro rischio frequente è quello dei professionisti del diritto che si fidano troppo dell’IA. In questa newsletter abbiamo parlato più volte di avvocati che, ad esempio, hanno depositato atti giudiziari con precedenti inesistenti, frutto delle allucinazioni dei modelli di IA generativa.
Non si tratta di casi isolati. Un ricercatore, Damien Charlotin, ha creato un database delle allucinazioni dell’IA proprio in ambito giudiziario: raccoglie quasi 700 episodi divenuti di dominio pubblico (di cui 4 italiani). In media, parliamo di più di quattro casi a settimana da quando ChatGPT è stato lanciato. Numeri che fanno riflettere, specialmente se pensiamo che si tratta soltanto della punta dell’iceberg.
Nel frattempo, anche in Italia, l’ombra di un uso (non responsabile) dell’IA inizia ad allungarsi anche su alcuni provvedimenti dei magistrati.
Non sorprende, dunque, che di fronte a questi rischi ci si muova anche sul piano delle regole. In Italia, ad esempio, il legislatore – nell’art. 15 della legge n. 132 del 2025 – ha voluto sancire un principio fondamentale: la riserva al giudice (umano) delle decisioni. Solo il giudice può interpretare la legge, valutare le prove e scrivere le sentenze: sono attività che non possono essere delegate a un algoritmo. Almeno per ora.
La legge lo dice esplicitamente:
ogni decisione sull’interpretazione e applicazione della legge, sulla valutazione dei fatti e delle prove e sull’adozione di provvedimenti spetta esclusivamente al giudice.
E ciò indipendentemente dagli strumenti informatici che può avere di supporto.
Dopo l’approvazione della legge, il Consiglio Superiore della Magistratura, con la delibera plenaria dell’8 ottobre 2025 sulle “Raccomandazioni sull’uso dell’intelligenza artificiale per l’amministrazione della giustizia” ha scritto parole molto chiare:
In questa fase, dunque, e fino all’introduzione di sistemi conformi al regolamento europeo, deve essere escluso l’utilizzo non autorizzato di sistemi di IA nell’attività giudiziaria in senso stretto; resta però ferma la possibilità di sviluppare, in ambiente protetto e sperimentale sotto la supervisione congiunta del Ministero e del Consiglio, applicazioni anche in ambiti giudiziari, purché previa anonimizzazione e tracciabilità dei dati (come sta avvenendo, tra gli altri, nei tribunali di Bologna, Catania, Milano).
📊 Gli algoritmi non devono condizionare i giudici
La scelta del nostro legislatore si inserisce in un contesto più ampio.
Si nota spesso che i Paesi di common law (come gli Stati Uniti) siano più aperti a utilizzare strumenti predittivi e intelligenze artificiali nel diritto, mentre quelli di civil law (come l’Italia o la Francia) siano più cauti. C’è del vero: negli USA fioriscono servizi di legal analytics che analizzano migliaia di precedenti e perfino le abitudini dei singoli magistrati, cercando di prevedere l’esito delle cause. In Europa, l’idea che un software “profetizzi” il risultato di una sentenza fa storcere il naso, anche perché contrasta con la concezione della giustizia del caso concreto, affidata al libero convincimento del giudice.
Proprio per questo motivo, ad esempio, dal 2019 in Francia è un reato raccogliere e pubblicare statistiche sulle decisioni dei singoli giudici per trarne classifiche o previsioni. Chi viola questa norma rischia fino a 5 anni di carcere. È un provvedimento nato proprio perché le società di legal tech avevano iniziato ad applicare tecniche di machine learning sui database delle sentenze, rivelando (per esempio) che il giudice X tendeva a concedere risarcimenti più alti del giudice Y in certe cause.
Anche se qualcuno ha criticato questo provvedimento ritenendolo esagerato (“è come aprire una noce con un martello pneumatico”) il legislatore francese - pressato anche dagli stessi magistrati – ha ritenuto necessario evitare ogni condizionamento statistico (e algoritmico) dei giudici.
🆚 Una falsa contrapposizione
Arrivati a questo punto, immagino che qualcuno - legittimamente – stia dicendo: “Sì, tutto vero, ma non è che la giustizia umana sia poi così infallibile…”. Oppure: “Gli errori degli algoritmi sono probabilmente meno di quelli degli esseri umani”.
Perché se da un lato abbiamo algoritmi opachi, pregiudizi nei dati e allucinazioni, dall’altro non possiamo certo dire che i sistemi giudiziari abbiano garantito sempre decisioni eque.
Per restare lontani dal nostro Paese, basti ricordare il celebre studio sul “giudice affamato”: in Israele, una ricerca ha analizzato migliaia di decisioni sulle libertà condizionali e ha scoperto che la probabilità di concessione era molto più alta nella prima mattina e subito dopo le pause pranzo (intorno al 65%) mentre crollava drasticamente quando i giudici erano affaticati o affamati.
E poi ci sono i numeri. Negli Stati Uniti, secondo il National Registry of Exonerations, dal 1989 oltre 3.000 persone sono state scagionate dopo essere state ingiustamente condannate. Questi innocenti hanno scontato -complessivamente - più di 30.000 anni di carcere per crimini che non avevano commesso.
Ecco perché non vorrei, nemmeno per un momento, dare l’idea che si tratti di una contrapposizione: da una parte l’uomo buono e saggio, dall’altra la macchina cattiva e distorta. O, al contrario, l’essere umano fallace vs. l’algoritmo infallibile. La realtà è più complessa. L’obiettivo non può essere scegliere tra giustizia umana e giustizia algoritmica. L’obiettivo deve essere una giustizia umana più giusta, che sappia usare bene gli strumenti tecnologici che ha a disposizione.
Dopo aver esplorato questi esempi, la mia convinzione è che la giustizia – oggi – non possa (ancora) fare a meno dell’umanità di chi la amministra. Ma, grazie all’IA, può diventare meno ingiusta, più certa e uguale per davvero.
Le riflessioni di questo post sono approfondite nel mio intervento al TEDx Lex Machina, svoltosi qualche settimana fa presso la Link Campus University.
Se vi interessa, trovate il video qui sotto.
💊 IA in pillole
🇨🇿 Repubblica Ceca : la polizia usa ChatGPT nelle indagini e sbaglia il capo d’imputazione - La polizia anticrimine ceca (NCOZ) ha arrestato Tomáš Jiřikovský (un programmatore ceco) con l’accusa di riciclaggio. Ma l’inchiesta ha rivelato due problemi. Primo: dai verbali è emerso che gli agenti avevano consultato ChatGPT per capire come funziona il darknet, annotando ufficialmente di aver “condotto accertamenti tramite ChatGPT”. La difesa ha definito quanto accaduto “un fallimento delle procedure investigative”, dato che i chatbot possono generare informazioni errate o fuorvianti. Secondoe: la polizia ha contestato a Jiřikovský un reato sulla base di un comma del codice penale introdotto solo nel 2019, applicandolo però a fatti del 2015. La polizia si è difesa sostenendo che ChatGPT è stato usato solo come “strumento di supporto” e non come fonte di prove.
IA in tribunale: le nuove linee guida UNESCO - A proposito di giustizia e IA, pochi giorni fa l’UNESCO ha pubblicato le Guidelines for the use of AI systems in courts and tribunals, quindici raccomandazioni per garantire che l’uso dell’intelligenza artificiale da parte di giudici e personale giudiziario sia etico, sicuro e rispettoso dei diritti umani.
Le linee guida coprono tre aree: sviluppo e implementazione dei sistemi IA nel settore giudiziario, formazione del personale (con alfabetizzazione all’IA sin dagli studi e aggiornamento continuo per i magistrati), e utilizzo specifico dell’IA generativa. Tra i principi chiave: trasparenza, verificabilità, supervisione umana nelle decisioni e progettazione antropocentrica.
Sul fronte della formazione, si raccomanda di integrare l’alfabetizzazione all’IA fin dagli studi universitari e di garantire ai magistrati aggiornamento continuo per valutare criticamente gli strumenti e i loro risultati. Quanto all’uso dell’IA generativa per la redazione delle sentenze, questi strumenti sono ritenuti ammissibili come supporto, ma il giudice che se ne avvale deve sempre dichiararlo e la decisione finale deve restare umana.
🇺🇸 Trump ha firmato un ordine esecutivo contro le leggi degli stati USA sull’IA- L’11 dicembre il presidente USA Donald Trump ha firmato l’executive order “Eliminating State Law Obstruction of National Artificial Intelligence Policy”, dopo il fallimento dei tentativi di inserire una moratoria federale in alcune leggi all’esame del Congresso.
L’ordine affida al Dipartimento di Giustizia la creazione di una AI Litigation Task Force con il compito esclusivo di contestare le leggi statali ritenute in conflitto con la politica federale, mentre il Dipartimento del Commercio dovrà mappare le normative “problematiche”. Prevista anche la possibilità di condizionare i fondi federali (come i 42,5 miliardi del programma BEAD per la banda larga) alla rinuncia degli stati a far rispettare le proprie leggi sull’IA.
L’ordine esclude dal suo ambito le norme statali su protezione dei minori, infrastrutture per data center e procurement pubblico. Le critiche all’executive order - che, secondo alcuni, sarebbe illegittimo in assenza di una legge federale sull’IA - non sono arrivate solo da organizzazioni per la tutela dei consumatori e dei diritti civili, ma anche da autorevoli esponenti repubblicani come Ron DeSantis (Governatore della Florida) e Steve Bannon. Lo scenario più probabile è una stagione di incertezza che mira a disincentivare gli stati dall’adottare nuove leggi. C’è da scommettere che - nel 2026 - racconteremo dei primi contenziosi che vedranno contrapposti governo federale contro governi locali.🇦🇷 In Argentina, un Comune nomina una IA come “direttore generale” (ma il sistema non esiste ancora) - Nelle scorse settimane, il sindaco di Zárate (provincia di Buenos Aires), Marcelo Matzkin, ha firmato un decreto con cui ha nominato un chatbot chiamato “ZARA” come “Direttore generale non umano per l’assistenza ai cittadini”.
Secondo l’art. 4 del decreto, le decisioni di ZARA avranno “qualità di atti amministrativi efficaci e vincolanti” e potranno essere revocate solo da un funzionario di rango superiore (quindi l’intervento umano è previsto come eventuale e successivo, non preventivo).
Ovviamente, il provvedimento ha fatto subito molto discutere. Giuristi argentini contestano la possibilità di poter assegnare responsabilità a un’IA secondo la legge argentina e in tanti si chiedono chi risponderà in caso di eventuali danni. Per non parlare del fatto che ZARA non esiste ancora. La gara per la realizzazione del sistema IA si è aperta solo il 26 novembre e non è ancora conclusa.
Nel frattempo, la Provincia di Buenos Aires ha emanato una regolamentazione sull’uso dell’IA nella pubblica amministrazione ispirata all’AI Act europeo, che potrebbe costringere il comune a rivedere il progetto ZARA che per qualcuno è solo marketing politico-tecnologico (a chi ricorda Diella, la ministra IA albanese?).
Il Sindaco di Zarate (Argentina) mentre firma il decreto di nomina del primo dirigente non umano (fonte: @MarceloMatzkin) 🇳🇱 Paesi Bassi: l’algoritmo per collocare i rifugiati li discrimina invece di aiutarli - Dal 2024 l’agenzia olandese per l’asilo (COA) sperimenta GeoMatch, un algoritmo che dovrebbe assegnare i rifugiati ai comuni dove hanno più probabilità di trovare lavoro. Un’inchiesta di Follow the Money, che contiene analisi dell’Università di Utrecht, rivela che il sistema produce l’effetto opposto. GeoMatch non cerca il posto giusto per il rifugiato, ma il rifugiato più “adatto” per ogni località: chi ha meno chance finisce nei comuni con meno opportunità, aumentando la disuguaglianza. L’algoritmo pesa poco le competenze professionali e molto variabili come genere, lingua e nazionalità. Le donne sono di fatto ignorate: il sistema considera solo chi nel nucleo familiare ha più probabilità di lavorare, tipicamente l’uomo.
Dai documenti ottenuti con una richiesta di accesso è emerso che l’amministrazione era consapevole di un “alto rischio di discriminazione” e della mancanza di base giuridica per il trattamento dei dati personali, ma la sperimentazione è partita comunque. Tra l’altro, COA ammetteva di “non avere le competenze” adeguate per gestire il progetto. In ogni caso, i test proseguiranno fino al 2027 su oltre 35.000 rifugiati l’anno. Vedremo se, dopo questa inchiesta, cambierà qualcosa.
😂 IA Meme
L’IA infallibile? È solo quella che addestra Chuck Norris.
😢 Meme IA che non lo erano
Questa notizia - riportata dal Guardian - non fa ridere, ma fa riflettere.
È bastato che alcune donne cambiassero il genere del loro profilo LinkedIn in “maschio” per fare un’amara scoperta: la loro visibilità è esplosa. Simone Bonnett, consulente di Oxford, ha modificato nome e pronomi in “Simon E” e “he/him” e ha registrato un +1.600% nelle visualizzazioni del profilo. Megan Cornish ha fatto riscrivere a ChatGPT il suo profilo in linguaggio “bro-coded” (parole come “strategic”, “leader”, “accelerate”) e ha visto un aumento del 415% nella portata dei suoi post.
L’esperimento collettivo, raccontato dal Guardian, ha coinvolto decine di donne e ha dato vita alla campagna “Fairness in the Feed”, che chiede a LinkedIn di rendere il suo algoritmo più equo. LinkedIn nega che il genere influenzi la distribuzione dei contenuti, parlando di “centinaia di elementi” che determinano la visibilità.
Il paradosso? Cornish ha mollato dopo una settimana: i risultati erano ottimi, ma si sentiva “come un maschio bianco che si pavoneggia”.
🙏 Grazie per averci letto!
Per ora è tutto, torniamo la prossima settimana. Se la newsletter ti è piaciuta, sostienici: metti like, commenta o fai girare!
Hey, great read as always. The bit about AI not being neutral got me thinkin. What if it was trained on teachers? The grading bias would be wild!