De rijksoverheid maakt steeds vaker gebruik van algoritmes, maar of die voldoende zorgvuldig worden ingedeeld als hoog risico, is onderwerp van discussie. Volgens eigen inventarisaties zijn er ruim 370 algoritmes in gebruik, maar slechts dertien staan geregistreerd als hoog risico AI-systeem. Critici vragen zich af of overheidsdiensten de classificatie niet te vaak naar de minst belastende kant laten overhellen.
Onderzoek naar registraties
De Auditdienst Rijk (ADR) onderzoekt inmiddels de kwaliteit en volledigheid van de registraties in het nationaal algoritmeregister. Daarbij wordt ook gekeken naar de toepasbaarheid en auditeerbaarheid van het zogeheten Algoritmekader.
Hoog risico
Volgens de stichting Algorithm Audit zijn er aanwijzingen dat het rijk algoritmes ten onrechte niet als hoog risico classificeert. Het voorbeeld van het AI-systeem MONOcam illustreert de complexiteit van de afweging. Dit systeem controleert bij verkeerscontroles of bestuurders een telefoon vasthouden. Bij een mogelijke overtreding worden foto’s doorgestuurd naar politiemedewerkers, die vervolgens een oordeel vellen.
De politie registreerde MONOcam als impactvol algoritme, en niet als hoog risico. Dat oordeel werd genomen op basis van de Handreiking Algoritmeregister van het ministerie van BZK. Een definitieve conclusie is volgens de politie nog niet mogelijk, omdat de Europese richtlijnen voor hoog risico AI-systemen pas later dit jaar worden vastgesteld.
Verschillende interpretaties
Algorithm Audit stelt echter dat MONOcam wél onder de hoog risico-categorie valt. Volgens de organisatie is er sprake van profilering, waardoor uitzonderingen in de AI-verordening niet van toepassing zijn. “Het eigen begrip van wat ‘hoog risico’ is, verschilt vaak van de juridische definitie,” zegt Ylja Remmits van Algorithm Audit. “Dat zien we niet alleen bij de politie, maar bij alle organisaties die wij spreken.”
Transparantie ontbreekt
Volgens Algorithm Audit moeten registraties vooral beter gemotiveerd worden. Die motivering hoeft niet per se in het algoritmeregister te staan, maar moet wel beschikbaar zijn voor interne en externe toezichthouders, zoals de Autoriteit Persoonsgegevens en de ADR. Transparantie is volgens de organisatie cruciaal zolang de interpretatie van Europese definities nog in beweging is.
Een verplichting tot registratie lijkt voorlopig niet aan de orde. Demissionair staatssecretaris Van Marum (Digitalisering, BBB) liet weten dat hij een wettelijke verplichting momenteel niet “opportuun” vindt. Daarmee blijft de vraag voorlopig bestaan hoeveel hoog risico-systemen de overheid werkelijk gebruikt – en of burgers wel voldoende beschermd worden tegen mogelijke risico’s van kunstmatige intelligentie.