Het recht is niet klaar voor digitale discriminatie. Computers en andere slimme systemen nemen steeds vaker geautomatiseerde beslissingen over mensen en daarbij ontstaat het risico op nieuwe vormen van discriminatie van bevolkingsgroepen. Daartegen biedt het Nederlandse recht onvoldoende bescherming. Dat betoogt Frederik Zuiderveen Borgesius, hoogleraar ICT en recht aan de Radboud Universiteit, op 28 september in zijn oratie.
Of je nou een nieuwe autoverzekering afsluit, een hypotheek aanvraagt, langs security moet op Schiphol of een vakantie boekt: je hebt dagelijks te maken met digitale systemen die beslissingen over je nemen. Dat gebeurt vaak zonder dat je er invloed op hebt óf het überhaupt door hebt. Die beslissingen kunnen grote invloed op je leven hebben. Je kunt uit de rij worden gehaald op Schiphol, of enkele tientjes meer per maand betalen voor je autoverzekering.
Zuiderveen Borgesius promoveerde in 2014 aan het instituut voor informatierecht (IViR) van de Universiteit van Amsterdam al op een proefschrift over behavioural advertising en privacy.Hij werkt sinds 2019 bij de Radboud Universiteit als docent rechten aan informaticastudenten.
Huisnummerdiscriminatie
‘Het Nederlands recht is nog niet klaar voor de keuzes van deze algoritmes,’ waarschuwt Zuiderveen Borgesius. ‘”We hebben nu duidelijke regels die mensen beschermen tegen discriminatie op hun huidskleur, geslacht of vergelijkbare kenmerken. Die normen gelden ook voor discriminatie door computers. Maar zulke digitale discriminatie is vaak moeilijk te ontdekken.”
Zuiderveen Borgesius ziet een tweede categorie problemen die nog lastiger is. “Digitale differentiatie kan oneerlijk zijn, terwijl die niet specifiek mensen met een bepaalde huidskleur of vergelijkbaar kenmerk treft. Verzekeraars kunnen bijvoorbeeld algoritmes gebruiken om te voorspellen welke klanten vaker schade claimen. De computer kijkt dan aan de hand van data welke correlaties helpen om dat te voorspellen.”
Er zijn bijvoorbeeld verzekeraars die hogere premies vragen aan mensen die op een huisnummer met een letter wonen, zoals 1A of 90L. Ook kan digitale differentiatie arme mensen treffen. Borgesius noemt het voorbeeld van een energiemaatschappij die hogere voorschotten vraagt aan bewoners van een postcode waar vaker betalingsachterstanden zijn. “Met zo’n aanpak raak je vooral mensen in arme wijken. En als mensen altijd netjes hun rekeningen betalen, is het zuur voor ze als ze als wanbetaler worden behandeld, alleen vanwege hun postcode.”
Juridische haken en ogen
In zijn oratie gaat de hoogleraar ICT en recht dieper in op de juridische haken en ogen van dergelijke digitale differentiatie. Dat zijn er namelijk nogal wat: discriminatie van bijvoorbeeld arme mensen of mensen met een bepaald huisnummer is niet verboden. Ook is het soms lastig om te achterhalen op basis van welke data een computer keuzes neemt, en hoe we dat inzichtelijk maken.
“Het huidige recht kan mensen ten dele beschermen tegen oneerlijke digitale differentiatie. Zo staan er nuttige regels in het algemene non-discriminatierecht, en in de Algemene Verordening Gegevensbescherming (AVG). We moeten beginnen met die regels beter handhaven. Maar de huidige regels laten ook gaten vallen. Er zijn aanvullende regels nodig, maar voor sommige digitale differentiatie weten we nog niet wat de normen moeten zijn. Zou discriminatie van arme mensen verboden moeten worden? En in welke gevallen dan? Om dat soort vragen te beantwoorden, is er meer interdisciplinaire samenwerking nodig door computerwetenschappers, juristen, filosofen en onderzoekers uit andere disciplines.”
Lees ook:
- Structureel meer geld voor digitalisering rechtspraak
- Hoe digitalisering maatschappelijk verantwoord ondernemen (MVO) ondersteunt
