Het Nederlands Normalisatie-instituut (NEN) publiceert een vrijwillige technische afspraak voor het toetsen van profileringsalgoritmen op discriminatie. De NTA 8047 richt zich op systemen die buiten de AI Act vallen, maar wél ingrijpende gevolgen voor burgers kunnen hebben. Over de reikwijdte van de bescherming bestaat fundamentele onenigheid.
Diverse overheidsinstellingen gebruiken algoritmen om te bepalen welke burgers extra worden gecontroleerd, zoals de Belastingdienst en DUO. Een deel van die systemen is regelgebaseerd, wat betekent dat ze dossiers selecteren op basis van criteria en scores. De AI Act definieert een AI-systeem als een systeem dat uit input afleidt hoe het output genereert, zoals voorspellingen of besluiten. Een regelgebaseerd selectiesysteem dat vaste criteria toepast op dossiers doet dat niet. Het leidt niets af, maar past toe.
Daarmee vallen die systemen buiten de Europese verordening die sinds vorig jaar de risico’s van kunstmatige intelligentie moet beperken. Dat is opmerkelijk, want de gevolgen voor burgers kunnen ingrijpend zijn. De Autoriteit Persoonsgegevens oordeelde eerder dat de algoritmische fraudeaanpak van DUO discriminerend en illegaal was. DUO kende studenten een risicoscore toe op basis van onderwijssoort, afstand en leeftijd, zonder objectieve rechtvaardiging voor die criteria. “Als je een algoritme met selectiecriteria gebruikt, dan maak je per definitie onderscheid tussen groepen personen”, schreef AP-voorzitter Aleid Wolfsen daarover. “Dat onderscheid moet je altijd heel goed en precies onderbouwen.”
Gat zonder norm
Tot nu toe bestond voor die categorie (toepassings)systemen geen norm. NEN heeft dat gat onlangs gevuld met de publicatie van het NTA 8047, een Nederlandse Technische Afspraak voor profileringsalgoritmen. Een NTA is geen wet en geen formele norm, maar een set vrijwillige afspraken over een onderwerp waarvoor nog geen formele norm bestaat. Organisaties die de NTA volgen, krijgen er concrete handvatten mee voor de ontwikkeling, toepassing en beoordeling van hun profileringsalgoritmen.
De NTA beschrijft een methode om indirect onderscheid op discriminatiegronden te onderzoeken. Welke data en aannames liggen onder het algoritme? Hoe worden uitkomsten en mogelijke effecten gemonitord en gedocumenteerd? Wie is verantwoordelijk? Het document introduceert geen nieuwe juridische kaders, maar helpt organisaties bij het naleven van het bestaande discriminatieverbod. Het is bedoeld als aanvulling op instrumenten die de overheid al kent, zoals de DPIA, het Impact Assessment Mensenrechten en Algoritmes en het Toetsingskader risicoprofilering van het College voor de Rechten van de Mens.
De NTA is gratis beschikbaar via NEN Connect en ontwikkeld door een brede werkgroep binnen de normcommissie Artificial Intelligence en Big Data, met experts uit overheidsorganisaties, kennisinstituten, maatschappelijke organisaties en het bedrijfsleven. Het Forum Standaardisatie en het ministerie van Justitie en Veiligheid hebben de ontwikkeling gefinancierd.
Werkgroep bereikt geen consensus
De NTA is gepubliceerd en beschikbaar, maar de werkgroep die eraan werkte is het op een cruciaal punt niet eens geworden. Namelijk over de vraag: kan indirect onderscheid op grond van ras door een profileringsalgoritme objectief gerechtvaardigd zijn? Het document bevat daarom een meerderheids- én een minderheidsstandpunt; een ongebruikelijke constructie voor een technische afspraak.
De meerderheidspositie volgt het bestaande juridische kader. Indirect onderscheid kan in theorie objectief gerechtvaardigd zijn als het een legitiem doel dient, als het geschikt is om dat doel te bereiken én noodzakelijk is. Amnesty International, Bits of Freedom en Control Alt Delete hebben een minderheidsstandpunt ingenomen. Zij erkennen dat de juridische mogelijkheid in theorie bestaat, maar stellen dat de eisen in de praktijk bij overheidsprofilering niet haalbaar zijn.
“Het meerderheidsstandpunt impliceert dat er in theorie een objectieve rechtvaardiging zou kunnen zijn voor indirect onderscheid op grond van ras”, schrijft Bits of Freedom. “Ons standpunt is dat de eisen die daaraan gesteld worden zo hoog zijn, dat dit in de praktijk niet haalbaar is. We vrezen dat overheden dit zullen gebruiken om onderscheid onterecht te legitimeren.”
Die vrees staat niet op zichzelf. De Staatscommissie tegen Discriminatie en Racisme verwijst in zijn voortgangsrapportage expliciet naar het gebrek aan consensus in de NTA. De commissie concludeert dat het gebruik van nationaliteit als selectiecriterium een zodanig hoog risico op onderscheid naar ras of etniciteit met zich meebrengt dat de overheid er niet mee zou moeten werken. De commissie deelt de zorgen uit het minderheidsstandpunt en adviseert de overheid dan ook om te stoppen met datagedreven profilering.
Internationaal commentaar
Ook buiten Nederland is het debat opgepikt. Het ACM Europe Technology Policy Committee reageerde tijdens de publieke consultatie op de concept-NTA. ACM, de Association for Computing Machinery, is ’s werelds grootste beroepsvereniging voor informatica. Het meningsverschil over objectieve rechtvaardiging is volgens het comité meer dan een verschil van mening tussen belanghebbenden. “Het weerspiegelt onopgeloste vragen over de vraag of kaders die zijn ontworpen voor menselijke besluitvorming adequaat zijn voor algoritmische systemen”, schrijft het comité in zijn reactie op de concept-NTA. Het beveelt NEN aan om in de NTA expliciet te erkennen dat deze spanning niet opgelost is.
De kritiek van het ACM-comité gaat bovendien verder dan het rechtvaardigingsdebat. Het wijst er ook op dat de NTA onvoldoende onderscheid maakt tussen soorten data die in profileringsalgoritmen worden gebruikt. Gegevens die een burger zelf aanlevert zijn iets anders dan kenmerken die het systeem statistisch afleidt. Juist die afgeleide en geïnfereerde data kunnen fouten en discriminatie introduceren, terwijl burgers ze moeilijk kunnen betwisten omdat ze niet weten hoe het systeem tot die conclusie is gekomen. Daarnaast constateert het comité dat auditmethodologie voor algoritmische systemen wereldwijd nog onderontwikkeld is, waardoor de kans op oppervlakkige compliance groter is dan op betekenisvolle onafhankelijke toetsing.
Vrijwillig betekent ook vrijblijvend
Of de NTA verschil gaat maken, hangt af van de praktijk. Het ministerie van BZK wil met pilots onderzoeken wat overheidsorganisaties nodig hebben om de technische afspraak daadwerkelijk toe te passen. Die pilots moeten nog beginnen. De NTA is vrijwillig, en dat is bewust zo: een lage drempel maakt het voor organisaties makkelijker om ermee aan de slag te gaan. Maar diezelfde vrijwilligheid is ook de zwakte. Er is geen instantie die naleving afdwingt, geen sanctie bij het negeren van de afspraken. Uit onderzoek van Bits of Freedom bleek dat grote gemeenten regelmatig niet eens een DPIA uitvoeren bij de inzet van algoritmen, terwijl dat wél wettelijk verplicht is. Als overheden al moeite hebben met verplichte toetsing, is het de vraag wat een vrijwillige norm gaat opleveren.
Toch vult de NTA een reëel gat. Er was geen norm voor profileringsalgoritmen die buiten de AI Act vallen, en die is er nu wel. Tegelijkertijd gaat het debat verder dan de vraag hoe je profilering zorgvuldig doet. De Staatscommissie stelt die vraag eigenlijk niet meer, maar adviseert de overheid om helemaal te stoppen met datagedreven profilering zolang waarborgen tegen discriminatie ontbreken. “Profilering wordt vaak gezien als een technische keuze”, aldus voorzitter Joyce Sylvester, “terwijl het in werkelijkheid gaat om een fundamentele normatieve beslissing over hoe de overheid haar burgers benadert.”