Gemeenten worstelen met mensenrechten bij inzet algoritmen

algoritme foto met speldenpuntjes

Gemeenten houden bij de inzet van algoritmen soms expliciet, maar vaker impliciet rekening met mensenrechten. Gemeenten zijn op dit thema welwillend, maar ook nog zoekende. Dat blijkt uit onderzoek van het College voor de Rechten van de Mens.

Er zou meer samenwerking kunnen plaatsvinden onderling en met softwareleveranciers om mensenrechten te beschermen. Gemeenten blijken bij de inzet van algoritmen geen speciale voorzieningen te treffen voor rechtsbescherming. Ze vertrouwen op de al bestaande procedures waarmee burgers hun recht kunnen halen.

Het College vroeg onderzoekers van Hooghiemstra & Partners te verkennen of gemeenteambtenaren rekening houden met mensenrechten bij gebruik van algoritmen en hoe ze zorgen dat inwoners hun recht kunnen halen als de gemeente over hen een beslissing heeft genomen met behulp van een algoritme. Het onderzoeksbureau deed hiervoor een literatuurstudie en interviewde verschillende gemeentefunctionarissen van twaalf gemeenten verspreid over Nederland.

Lokale autonomie onder druk

De Rijksoverheid besteedt veel taken uit aan gemeenten. Zij staan dicht bij de burger en kunnen lokale accenten leggen. Zij hebben lokale autonomie. Zij mogen beslissen over bijvoorbeeld de aanleg van fietspaden, bouw van een stadion, het verlenen van een uitkering, het aanbieden van jeugdzorg of het preventief fouilleren op een bepaalde locatie. Veel beslissingen die gemeenten nemen hebben behoorlijke impact op de inwoners.

In de ideale situatie nemen gemeenten beslissingen op een democratische manier en besteden dan ook aandacht aan mensenrechten. Als het gaat om de inzet van algoritmen is dit volgens de onderzoekers geen dagelijkse realiteit. Dat heeft onder andere te maken met de organisatie binnen en tussen gemeenten en het gebruik van software die is gemaakt door commerciële partijen.

Organisatorische obstakels

De onderzoekers zagen twee organisatorische scheidslijnen bij gemeenten die kunnen leiden tot geïsoleerd denken. Een is tussen beleid en uitvoering en één tussen datagedreven werk en informatievoorziening (‘traditionele IT’, de mensen die zorgen dat de computers werken).

Daarnaast zijn er zoveel samenwerkingsverbanden dat niet altijd helder is welk orgaan verantwoordelijk is. Deze ‘bestuurlijke spaghetti’ maakt heldere besluiten over de inzet van technologie en het afleggen van verantwoording daarover, extra moeilijk. De onderzoekers zien een meer netwerkachtige manier van werken als een oplossing om ervoor te zorgen dat de mensenrechten in de praktijk ook worden nageleefd.

Softwareontwikkelaars interpreteren wet- en regelgeving

Veel gemeenten gebruiken dezelfde softwarepakketten. Veel van deze systemen, hun werking, hoe de tekst van de wet is geïnterpreteerd of hoe een fraudemodel werkt, worden niet ontworpen of voorgeschreven door gemeenten.  Bedrijven ontwikkelen ze en gemeenten kopen ze in. Dit kan op gespannen voet staan met de lokale autonomie. Ook ligt er daardoor veel macht bij softwareontwikkelaars. Zij zetten wetten immers om in code.

Bij gemeenten is er veel aandacht en zijn er procedures voor de bescherming van persoonsgegevens. Voor het toetsen van de impact op mensenrechten is dat nog niet het geval. Gemeenteambtenaren zijn zich wel meer bewust dan voorheen van de risico’s die gebruik van algoritmen met zich mee kan brengen. Door de toeslagenaffaire hebben zij meer oog voor risico’s op discriminatie en bias in data.

Sommige gemeenten gebruiken instrumenten om mensenrechten mee te nemen bij de aanschaf van algoritmen. Andere gemeenten doen dat niet, maar stellen wel vragen als: willen, mogen en kunnen we dit? En kunnen we dit uitleggen aan onze inwoners? Gemeenten zouden het fijn vinden als er praktische handvatten komen om te gebruiken bij de aanschaf van algoritmen.

Je recht halen

Gemeenten treffen geen extra maatregelen voor het geval dat een inwoner het niet eens zou zijn met een beslissing op basis van een algoritme. Gemeenten wijzen standaard naar bezwaar- en beroepsmogelijkheden, lokale ombudsmannen en de mogelijkheid voor burgers om inzicht te krijgen in eigen persoonsgegevens.

Toen de onderzoekers zochten naar gemeenten die geschikt zouden zijn voor het onderzoek, viel het hen op dat sommige gemeenten aangaven geen algoritmen te gebruiken. Ambtenaren denken dan dat algoritmen altijd lerende algoritmen zijn en vergeten dat er ook minder complexe als-dan algoritmen in de softwarepakketten zitten die zij gebruiken.

Ook viel op dat gemeenteambtenaren sommige besluitvormingsprocessen niet noemden als processen met algoritmen, terwijl voor die processen zeer waarschijnlijk algoritmen worden gebruikt. Zo noemden ze niet de regeling rond de kwijtschelding van gemeentelijke belastingen, de berekening van de uitkering op basis van de Participatiewet en online monitoring.

Samenwerken

Een manier om te bereiken dat mensenrechten worden beschermd bij de inzet van algoritmen door gemeenten is om samen te werken met andere gemeenten bij de inkoop van software. Zo kunnen ze samen een vuist maken en meer eisen stellen. Eén van de eisen zou moeten zijn dat de regels van het algoritme openbaar worden.

De onderzoekers sporen gemeenteambtenaren aan om de tafel te gaan zitten met softwareontwikkelaars en samen te kijken hoe ze mensenrechten zeker kunnen stellen als ze nieuwe algoritmen ontwerpen.

Wat gaat het College doen?

Het College staat klaar om met zowel gemeenteambtenaren als met softwareontwikkelaars in gesprek te gaan. Doel is beide groepen zoveel mogelijk te ondersteunen, zodat mensenrechten steeds beter beschermd zijn bij de inzet van algoritmen.

Lees ook:

Gerelateerde berichten...

X