Column Privacy - Risicoprofileren als nieuw risico

In een baanbrekend vonnis gooide het Hof in Den Haag het roer om voor etnisch profileren. In de zaak tegen de Marechaussee oordeelde zij dat het gebruik van huidskleur bij risicoprofilering discriminerend is. De kern van de zaak zit hem in de opmerking van de rechter dat het enkele feit dat iemand een bepaalde huidskleur heeft, nog helemaal niets zegt over de plaats van herkomst en/of diens nationaliteit. En dat laatste werd door de Marechaussee nu juist als redengevend voor het gebruik ervan aangevoerd. Hoewel dit een voor de hand liggende opmerking lijkt, heeft dit vergaande consequenties voor het gebruik van data voor risicoprofielen.

De rechter legt hier namelijk een belangrijk pijnpunt bloot. Een algoritme doet uiteindelijk precies dat wat het ‘moet’ doen aan de hand van wat je erin stopt aan data en rekenmethodes. In dit specifieke geval was een cruciaal stuk data (de huidskleur) gebaseerd op een verkeerd onderliggende waarde (namelijk dat je nationaliteit en herkomst zou kunnen afleiden uit huidskleur) en heeft dit geleid tot discriminatie (disproportioneel vaak ‘aan de kant’ gezet worden ter controle). Je krijgt eruit wat erin gestopt wordt.

Overigens is dit ook vergelijkbaar met hoe mensen in elkaar zitten, in een rapport over etnisch profileren van de politie geeft zij zelf aan dat agenten op straat (logischerwijs) disproportioneel vaak te maken krijgen met negatieve situaties waarin personen met een niet-witte huidskleur betrokken zijn. En dat dit hun visie en daardoor hun handelen kan kleuren. Ook nu uitdrukkelijk in de eigen richtlijnen is opgenomen dat onderscheid op huid geen criterium voor selectie is. Je krijgt eruit wat erin gestopt wordt.

Precies dit punt speelt natuurlijk niet alleen bij huidskleur. Je ziet exact hetzelfde gebeuren bij geslacht en seksualisering. In februari publiceerde het Engelse The Guardian een artikel over de discriminatie en seksualisering van vrouwen door het algoritme wat ingezet wordt bij social media als Instagram en LinkedIn. Uit eigen onderzoek van de krant blijkt dat de artificiële intelligentie die ingezet wordt door de platforms, foto’s van vrouwen in alledaagse situaties als zeer seksueel aanmerkt. Bij mannen in vergelijkbare situaties is dat niet het geval. Content van vrouwen wordt daardoor systematisch onderdrukt (een zogenaamde shadow ban). Als waarschijnlijke verklaring voor dit effect geven de auteurs aan dat vermoed wordt dat dit specifieke algoritme gevoed wordt door voornamelijk heteroseksuele mannen. En dat deze logischerwijs bij vrouwen een seksueel beeld hebben en bij mannen juist totaal niet. Je krijgt eruit wat erin gestopt wordt.

Juridisch gezien is het allemaal niet zo moeilijk: je mag niet discrimineren en je bent verplicht ervoor te zorgen dat data correct is en je moet fouten in data corrigeren. Maar in de praktijk lijkt het nog steeds moeilijk te voorkomen dat het misgaat. En hoewel geen enkele gediscrimineerde groepering (hoe klein of groot zij ook is) de verplichting heeft om de ‘normgroep’ uit te leggen waar het fout gaat, denk ik wel dat het enorm veel zou helpen als personen die afwijken van de ‘normgroep’ meer actief betrokken worden in het ontwikkelen en doortesten van dergelijke technologie.
 

Rachel Marbus
@RACHELMARBUS op Twitter

Deze column verscheen in iB2-2023.