🤖 La lotta contemporanea contro le discriminazioni dell'IA – Legge Zero #15
Nella settimana della Giornata internazionale della donna, parliamo delle discriminazioni dell'intelligenza artificiale e di cosa istituzioni, legislatori e utenti possono fare per combatterle.
🧠 La discriminazione è dell’IA o degli esseri umani che la sviluppano?
Immaginate di inviare il curriculum dopo aver letto un’offerta di lavoro.
Immaginate che la valutazione del vostro CV, come quelle di tutti gli altri partecipanti, venga fatta da un’intelligenza artificiale.
Immaginate di essere una donna e che il vostro curriculum, indipendentemente dalle vostre competenze ed esperienze venga penalizzato dall’algoritmo.
Non è uno scenario distopico o la trama di un episodio di Black Mirror.
Alcuni anni fa, Amazon aveva avviato un progetto sperimentale di utilizzo dell’IA per la selezione del personale. Il sistema doveva valutare i candidati con un sistema di punteggi, simile a quello utilizzato dagli utenti per recensire i prodotti acquistati online, assegnando da una a cinque stelle. Dopo averli valutati, selezionava i migliori cinque profili, basandosi su chi aveva più stelle. Tuttavia, Amazon rilevò che il suo sistema non era affatto imparziale riguardo al genere, tendendo a escludere i CV femminili. Questo accadeva perché il sistema era stato addestrato su curriculum ricevuti nell'ultimo decennio, prevalentemente maschili (gli uomini sono più presenti nei ruoli di vertice nelle società del settore tecnologico). L’IA ha quindi appreso una preferenza per i candidati uomini, penalizzando i CV che menzionavano termini femminili o istituti d'istruzione femminili. Amazon ha provato a correre ai ripari, ma il sistema non dava comunque garanzie e quindi il progetto è stato chiuso.
E questo caso è solo uno tra i molti che evidenziano come l'intelligenza artificiale spesso discrimini le donne.
Del resto, impara dai dati da cui viene addestrata.
The Economist ogni anno a partire dal 2013, in occasione dell’8 marzo, ci ricorda che più che festeggiare bisogna ragionare su quanto - tanto - c’è ancora da fare per abbattere le barriere invisibili che impediscono o complicano la crescita in ambito professionale delle lavoratrici, pubblicando il “glass ceiling index”, indice annuale del “soffitto di vetro”.
Dieci gli indicatori, dal tasso di partecipazione alla forza lavoro agli stipendi, dal congedo parentale retribuito alla rappresentanza politica, e 29 i Paesi oggetto di analisi, tra i più ricchi e tutti facenti parte dell'Organizzazione per la Cooperazione e lo Sviluppo Economico (OCSE).
I Paesi migliori dove lavorare se si è donna sono Islanda, Svezia, Norvegia, Finlandia e Francia, che occupano le prime cinque posizioni dell'indice. I Paesi nordici sono particolarmente bravi ad aiutare le donne a completare l'università, ad assicurarsi un lavoro, ad accedere a posizioni di responsabilità e a sfruttare sistemi di congedo parentale di qualità e orari di lavoro flessibili. Giappone, Turchia e Corea del Sud sono ultimi nella classifica.
In quasi tutti i Paesi le donne si laureano in numero maggiore rispetto agli uomini. Esse rappresentano una quota inferiore della forza lavoro in tutto il nostro indice. Ciò è particolarmente evidente in Turchia, Grecia e Italia, dove meno di due terzi delle donne adulte sono occupate. Il divario nei tassi di partecipazione al lavoro significa che meno donne salgono nella scala aziendale, il che si ripercuote sul divario salariale di genere. In Europa le donne guadagnano circa il 12% in meno degli uomini.
L’Italia occupa il sedicesimo posto in classifica.
La percentuale di donne nei consigli di amministrazione ha raggiunto il 33% per la prima volta in tutta l'OCSE. I leader in questo campo sono la Nuova Zelanda, la Francia e la Danimarca.
Quale relazione c’è tra questi dati e l’IA? Una relazione importante, soprattutto se incrociati con altri provenienti da diverse fonti.
In Italia nelle prime 100 aziende quotate in borsa solo due hanno a capo una donna.
Secondo il dossier In-difesa - Terre des Hommes 2023, in Europa, tra professionisti dell’intelligenza artificiale, solo il 16% è composto da donne.
L’intelligenza artificiale si nutre di dati e genera dati. La base di partenza può influenzare l’addestramento e generare risultati discriminatori.
Ad esempio, ci sono chatbot addestrati sui post social degli utenti che utilizzano un linguaggio sessista e razzista oppure sistemi di IA generativa che - nella creazione delle immagini o nella traduzione di testi – associano le professioni e le posizioni di maggior successo a maschi bianchi.
Se la partecipazione delle donne alla politica e nei ruoli apicali è ancora bassa, poi, questo potrebbe influenzare le scelte strategiche.
Del resto, è sempre il “glass ceiling index” ad affermare che vari studi hanno dimostrato che un maggior numero di donne nella leadership politica porta a una maggiore attenzione ai diritti delle donne e alle politiche familiari. Non può che essere così anche con riferimento a ricerca e sviluppo nell’ambito delle tecnologie.
Si tratta di un tema di cui è giusto che si interessino legislatori e istituzioni (come richiesto in un appello sottoscritto da numerose esperte del settore).
Recentemente, il Consiglio d’Europa ha pubblicato uno studio in cui sono evidenziate le carenze nei meccanismi esistenti per prevenire la discriminazione nello sviluppo di sistemi algoritmici. Il documento include molti esempi concreti di discriminazione algoritmica in vari settori come il reclutamento, l'accesso ai servizi pubblici, l'educazione, l'assistenza sanitaria, i motori di ricerca e la violenza di genere online. Inoltre, pone l’accento su alcune caratteristiche del fenomeno come la larga scala (pensate ai milioni di utenti dei chatbot), la mancanza di trasparenza nello sviluppo dei sistemi e la difficoltà nell'attribuzione di responsabilità.
Insomma, è un altro motivo per cui servono le regole sull’intelligenza artificiale. Regole che prevedano obblighi e responsabilità precise per gli esseri umani che progettano e sviluppano sistemi di IA.
L’AI Act - che l’Unione Europea si appresta ad approvare definitivamente - può giocare un ruolo importante. Conducendo una mera analisi lessicale potrebbe non sembrare (il termine “woman” ricorre due volte e il termine “gender” sei volte, nell’ultima versione disponibile), eppure si occupa di eguaglianza di genere e non-discriminazione nella misura in cui vieta alcuni usi dell’IA e sottopone a una serie di stringenti obblighi i sistemi “ad alto rischio”. Questi sistemi dovranno essere tecnicamente robusti per garantire che la tecnologia sia adatta allo scopo e che i risultati falsi positivi/negativi non incidano in modo sproporzionato sui gruppi protetti (ad esempio origine razziale o etnica, sesso, età, ecc.). I sistemi ad alto rischio dovranno essere addestrati e testati con set di dati sufficientemente rappresentativi per ridurre al minimo il rischio di pregiudizi ingiusti e garantire che questi possano essere affrontati attraverso un’adeguata rilevazione, correzione e altre misure di attenuazione. Dovranno inoltre essere tracciabili e verificabili, garantendo che sia conservata la documentazione adeguata, compresi i dati utilizzati per addestrare l’algoritmo (elemento importantissimo nelle analisi ex post).
In attesa delle regole, c’è chi sta lavorando per rispondere a questi problemi. Un esempio è il progetto europeo FINDHR, di cui è partner l’Università di Pisa, che ha l'obiettivo di promuovere metodi di selezione del personale giusti e non discriminatori. Nell’ambito del progetto è stata avviata una campagna di donazione (volontaria) dei CV in modo da sviluppare sistemi di selezione del personale equi e non-discriminatori (per evitare un nuovo “caso Amazon”).
Chi vuole contribuire può donare, in modo anonimo, i propri CV anonimizzati in italiano e inglese, bastano dieci minuti. Un po’ di più che per scrivere un post retorico sulla Giornata internazionale della donna, ma quest’azione, almeno, può avere un impatto concreto sul mondo che stiamo costruendo.
🔊 Un vocale da… Teresa Numerico (Università Roma Tre): perché l’IA alimenta gli stereotipi di genere? Cosa possiamo fare per evitarlo? Nel vocale di questa settimana ce ne parla una studiosa di questi temi, ricordandoci che dietro gli algoritmi ci sono sempre gli esseri umani che li hanno progettati e sviluppati.
📰 Da UNESCO un report sull’IA che alimenta gli stereotipi di genere
Nel corso della settimana della Giornata internazionale della donna, l’Unesco ha pubblicato uno studio che mette in guardia sul fatto che i cosiddetti Grandi Modelli Linguistici (LLM), in grado di leggere, tradurre e riassumere testi - e su cui si basano programmi di intelligenza artificiale generativa -hanno la tendenza a riprodurre contenuti che alimentano gli stereotipi di genere.
Gli strumenti di generazione di testi utilizzati dai programmi di intelligenza artificiale infatti tenderebbero ad associare le donne a parole come "casa", "famiglia" e "bambini", mentre gli uomini a termini come “affari” e “carriera”.
Nel rapporto, si conferma che i LLM open source come Llama 2 (sviluppato da META) e GPT-2 (sviluppato da OperAI) mostrano significativi pregiudizi di genere. Tuttavia, lo studio conclude anche che la loro natura aperta e trasparente potrebbe essere un indubbio vantaggio nell'affrontare e mitigare questi pregiudizi attraverso una maggiore collaborazione della comunità, cosa che i modelli proprietari non consentono.
📰 La Spagna 🇪🇸 svilupperà il suo LLM
Il premier spagnolo Pedro Sánchez, ha annunciato che il Governo Spagnolo sta lavorando allo sviluppo di un LMM nazionale basato su un codice aperto e trasparente.
La Spagna si aggiunge quindi ai Paesi che hanno scelto di sviluppare un sistema di IA nazionale, specialmente per motivi di sicurezza e sovranità legati all’utilizzo in ambito pubblico.
Viene da chiedersi cosa farà il governo italiano. Oltre al progetto di CINECA (di cui abbiamo parlato in LeggeZero #10), seguirà l’esempio spagnolo e lavorerà a un LLM made in Italy?
⚖️ Garante Privacy - Open AI: atto secondo
OpenAI finisce nuovamente nel mirino del Garante per la protezione dei dati personali. Questa volta ad essere sotto la lente di ingrandimento è il nuovo modello di intelligenza artificiale, denominato “Sora” annunciato dalla società americana ma non ancora disponibile per il pubblico. Sora è in grado di creare video molto realistici, partendo da poche istruzioni testuali fornite dall’utente (guardate il video qui sotto, decisamente impressionante).
Considerate le possibili implicazioni che il servizio potrebbe avere sul trattamento dei dati personali degli utenti che si trovano nell’UE, il Garante Privacy ha chiesto ad OpenAI una serie di chiarimenti, relativi ad esempio alle modalità di addestramento dell’algoritmo, all’uso dei dati raccolti ed elaborati per addestrarlo specialmente se si tratti di dati personali, alle fonti utilizzate e alle basi giuridiche del trattamento. Se è vero che lo strumento non è ancora disponibile, è facile immaginare che il Garante voglia affermare l’importanza del principio “privacy by design” fin dalla costruzione dei modelli di IA e che sia interessato a garantire la legittimità dell’addestramento delle intelligenze artificiali.
OpenAI ha venti giorni per rispondere.
😂 IA Meme che non lo erano - parte 3
È diventato virale il video di Muhammad, il primo robot umanoide (con un nome maschile) dell’Arabia Saudita, in cui il robot - durante un evento a Ryad - tocca una giornalista in modo inappropriato. Non è come sembra, però. Pare che fosse un movimento “preimpostato”.
(Fonte: Tansu Yegen)
📚 Consigli di lettura: “Gender equality and artificial intelligence in Europe” di Fabian Lütz
Se volete approfondire le implicazioni legali delle discriminazioni di genere dell’IA, troverete molto interessante l'articolo di Fabian dal titolo “Gender equality and artificial intelligence in Europe. Addressing direct and indirect impacts of algorithms on gender-based discrimination”.
L’Autore analizza l'evoluzione storica degli algoritmi e delle tecnologie, esaminando sia gli effetti diretti che indiretti degli algoritmi sull'uguaglianza di genere, e propone raccomandazioni regolamentari e politiche per affrontare la discriminazione basata sugli algoritmi.
Questo lavoro sottolinea l'importanza di una maggiore partecipazione femminile nello sviluppo dell'IA e l'implementazione di misure di formazione sulla parità di genere per i programmatori di algoritmi, affermando la necessità di una maggiore trasparenza e supervisione umana nel design degli algoritmi per mitigare i pregiudizi di genere.
📚 Consigli di visione: “Intelligenza artificiale - opportunità e sfide” (Sardegna Talk)
Per capire come cogliere le opportunità dell’IA e come affrontarne i rischi, bisogna che tutti la conoscano. Per questo è importante che si parli di cos’è, di quali sono i benefici per i territori e di quali sono le regole da rispettare. Solo in questo modo possiamo, lontano da facili entusiasmi o paure immotivate, capire quello che sta accadendo nella nostra società e nelle nostre vite.
Di questo si è parlato nel corso di una puntata di “SardegnaImpresa Talk” in cui alcuni esperti - tra cui l’avvocato Ernesto Belisario - si sono confrontati su come l’IA può trasformare il mondo delle imprese, delle professioni e della pubblica amministrazione. Trovate la registrazione qui sotto e su Youtube.
📣 Eventi
L'intelligenza artificiale: le sfide alla politica e alla PA - Trieste, 11.03.2024
L’intelligenza artificiale per l’Italia - Roma, 12.03.2024
IA alla Camera dei deputati: call for proposals - Roma, 19.03.2024
AI WEEK - Rimini, 9-10.4.2024
Per ora è tutto, torniamo la prossima settimana. Se la newsletter ti è piaciuta, commenta o fai girare. Grazie!