Uno studio pubblicato da Science il 24 ottobre 2019, mostra come un algoritmo utilizzato da un gran numero di ospedali statunitensi per la gestione dei pazienti e l'allocazione delle risorse, si sia rivelato discriminatorio nei confronti di chi non è bianco, a causa del modo in cui è stato utilizzato per valutare i bisogni dei pazienti sulla base della spesa sanitaria media annuale. Le minoranze etniche sono inoltre costantemente ignorate dagli algoritmi di riconoscimento delle telecamere degli smartphone, o, al contrario, riconosciute spesso come potenziali criminali. Un test condotto l'anno scorso dall'American Civil Liberties Union ha mostrato come Rekognition di Amazon, un software usato abitualmente dalle forze di polizia negli Stati Uniti, abbia erroneamente riconosciuto 28 membri del Congresso come pregiudicati. Si trattava per la maggior parte di parlamentari afroamericani.
Questi sono solo alcuni esempi di come queste tecnologie possano, già oggi, perpetrare stereotipi sociali e favorire le discriminazioni razziali.
IBM, sulla scia delle proteste di Black Lives Matter in tutto il mondo, sta ora prendendo una posizione significativa sulla questione annunciando che non svilupperà più alcuna soluzione di riconoscimento facciale. La decisione è stata annunciata in una lettera indirizzata ai membri del Congresso, in cui l'amministratore delegato di IBM Arvind Krishna ha anche chiesto esplicitamente riforme per promuovere la giustizia razziale e contrastare il razzismo sistemico, sostenendo direttamente il Justice in Policing Act introdotto ieri da alcuni importanti legislatori del Partito Democratico.
“IBM si oppone fermamente e non condonerà l'uso di qualsiasi tecnologia, inclusa la tecnologia di riconoscimento facciale offerta da altri fornitori, per la sorveglianza di massa, la profilazione razziale, le violazioni dei diritti umani e delle libertà fondamentali, o qualsiasi scopo che non sia coerente con i nostri valori e principi di fiducia e trasparenza”, ha scritto Krishna nella lettera.
“Crediamo che sia giunto il momento di avviare un dialogo nazionale sull'opportunità e sul modo in cui la tecnologia di riconoscimento facciale dovrebbe essere impiegata dalle forze dell'ordine”.
Le osservazioni di Krishna sono in linea con posizioni già espresse in precedenza da IBM. L'anno scorso l'azienda aveva già sottolineato il problema pubblicando un database di volti che era più vario e inclusivo di qualsiasi altra base di dati allora disponibile.
Gli algoritmi di Machine Learning e Deep Learning riescono a identificare correttamente le persone e i volti tanto quanto i dati che vengono alimentati per "imparare". Se i dati, per qualsiasi ragione, sono inclinati verso l'applicazione di pregiudizi sociali esistenti, il risultato del software sarà inevitabilmente influenzato allo stesso modo. Si tratta di un palese difetto di design dei sistemi che è presente nella maggior parte dei software di riconoscimento facciale utilizzati oggi dalle forze di polizia (come la già citata soluzione di riconoscimento facciale che Amazon insiste ancora a vendere, nonostante ne sia stata dimostrata a più riprese l’inefficacia), che finisce per colpire ancora una volta gli strati sociali sotto-rappresentati e maggiormente repressi dalla polizia, già affetti in primo luogo da pregiudizi e discriminazione.
Ecco perché la decisione di IBM è importante. Il software di riconoscimento facciale non è mai stato una gallina dalle uova d’oro per l’azienda, ma l'idea di rinunciare completamente alla ricerca e allo sviluppo di queste soluzioni basate sull'IA è una posizione non convenzionale che non potrà non scuotere le coscienze degli informatici, dei ricercatori e delle aziende concorrenti attivi in questo campo.
Foto di apertura dal film Anon (2018), distribuito in Italia da Netflix