Un algoritmo non ha opinioni né intenzioni, ma può riprodurre e perfino amplificare le discriminazioni presenti nei dati su cui è stato addestrato. Quando una decisione viene affidata a un sistema automatico, il rischio è che un pregiudizio umano, prima confinato a una singola persona, diventi sistematico e invisibile, applicato a migliaia di casi senza che nessuno se ne accorga.
Da dove nasce il bias
Il pregiudizio può entrare da più parti. Dai dati: se gli esempi di addestramento rappresentano meglio alcuni gruppi di altri, il modello impara a funzionare bene solo per loro. Dalle scelte di progettazione: quali variabili considerare, quale obiettivo ottimizzare, quale soglia usare per decidere. Dal modo in cui viene usato il risultato: un sistema accurato può produrre danni se viene applicato in un contesto diverso da quello per cui è stato pensato. Il bias può anche nascere da un’etichettatura dei dati fatta da persone con criteri differenti.
Esempi concreti
- Selezione del personale: un sistema addestrato su curricula di assunzioni passate può penalizzare candidature con percorsi diversi dalla norma, come le interruzioni di carriera o alcuni titoli di studio, replicando scelte precedenti.
- Riconoscimento facciale: studi hanno mostrato tassi di errore più alti su alcune categorie di persone, con conseguenze gravi in caso di identificazione errata.
- Valutazione del credito: un modello può associare il rischio a fattori indirettamente legati alla provenienza o al quartiere, con effetti discriminatori anche senza variabili esplicite.
- Sanità: un algoritmo che stima il bisogno di cure basandosi sulla spesa sanitaria può sottostimare i bisogni di chi ha avuto meno accesso alle cure.
Perché è difficile da vedere
Un sistema automatico appare oggettivo, perché usa numeri e regole. Questa apparenza rende il bias meno contestabile: una decisione presa da una macchina sembra neutra, e chi ne è colpito fatica a capire perché è stato escluso. Inoltre, molti modelli sono opachi, e spiegare un singolo risultato può essere complicato.
Cosa si può fare
La prima cosa è verificare i dati: chi è rappresentato, chi manca, quali etichette sono state usate e da chi. Poi occorre testare il sistema su gruppi diversi, misurando errori e tassi di successo separatamente per ciascuno, perché una media può nascondere grandi differenze. Serve documentare le scelte fatte e definire chi risponde delle decisioni. E sulle decisioni che hanno effetti concreti sulle persone, come un’assunzione, un prestito o una cura, occorre mantenere una supervisione umana reale, con la possibilità di contestare il risultato.
Il quadro normativo
In Europa, il regolamento sull’intelligenza artificiale classifica i sistemi in base al rischio e impone requisiti più stringenti a quelli usati in ambiti sensibili, come il lavoro, il credito e la sanità. Anche il regolamento generale sulla protezione dei dati tutela le persone da decisioni automatizzate che le riguardano in modo significativo. Le norme cambiano nel tempo, quindi conviene verificarne lo stato aggiornato.
Il bias non si elimina del tutto, ma si può individuare, misurare e ridurre. Un sistema equo non è quello che promette neutralità, ma quello che viene controllato con onestà su chi colpisce e perché.