Verdachten van bijstandsfraude in de gemeente Nissewaard worden niet langer meer opgespoord met behulp van het algoritme van het bedrijf Totta Dat Lab. De gemeente neemt het besluit ermee te stoppen na vernietigende conclusies uit een onderzoek van TNO en druk van onder andere de FNV Uitkeringsgerechtigden en het Platform Burgerrechten.
TNO constateert een aantal cruciale tekortkomingen in de algoritmes die de gemeente gebruikte. Daardoor is het risico groot dat de gemeente discrimineerde ne mensen onterecht aanmerkte als fraudeur.
De organisaties zijn blij dat de Nissewaard stopt met het op die manier opsporen van bijstandsfraude, maar dat had volgens hen veel eerder gemoeten. Maureen van der Pligt, bestuurder FNV Uitkeringsgerechtigden: “Onder druk van een onderzoek van TNO en na vele acties vanuit de FNV en het Platform trekt de gemeente nu eindelijk de stekker uit de samenwerking. Maar het college wist al heel lang dat haar beleid niet deugde en toch ging ze ermee door.’
Onbetrouwbare uitkomsten
De druppel die de emmer bij de gemeente uiteindelijk deed overlopen waren de vernietigende conclusies die uit het TNO-onderzoek kwamen. Die spreken bijvoorbeeld van mensen die Jarenlang onterecht op risicolijsten stonden. TNO stelt dat de blunders voortkomen het feit dat de gemeente met algoritmes werkte om eventuele bijstandsfraude op te sporen, terwijl ze er geen verstand van heeft. Toch gaf het college al die tijd aan volledige verantwoording te kunnen dragen voor de algoritmes die ze van het bedrijf huurde.
Nadat het risicoprofileringssysteem SyRI in februari vorig jaar door de rechter werd verboden, ontstond er al discussie in de Nissewaardse raad over het inzetten van risicoanalyses door Totta Data Lab. De beloofde transparantie over de data-analyses bleef echter uit. De FNV en het Platform kondigden in februari van dit jaar aan een rechtszaak aan te spannen tegen de gemeente. Van der Pligt: “Het heeft er alle schijn van dat de grond onder de voeten van de gemeente te heet werd en dat ze zo probeert een rechtszaak te vermijden.” Het Platform en de FNV beraden zich nog op vervolgstappen.
Conclusies TNO
TNO constateert een aantal cruciale tekortkomingen in de algoritmes die de gemeente gebruikte. Zo is volgens TNO de auditeerbaarheid van het AI-algoritme gebrekkig. Dit betekent dat het algoritme in de huidige vorm niet voldoende toetsbaar is aan inhoudelijke en procedurele eisen. De uitkomsten zijn namelijk niet reproduceerbaar. Bij meerdere runs van dezelfde code met dezelfde instellingen verschijnen er (significant) andere resultaten.
De kwaliteit van de programmeercode is ook niet op peil. De best practices vanuit software-ontwikkeling zijn volgens het rapport ook onvoldoende toegepast. Het ontbreekt aan aanvullende documentatie voor software-ontwikkelaars en technische gebruikers van de code.
Daardoor kon de gemeente niet voldoen aan essentiële voorwaarden die zorgen dat de gemeente niet gaat discrimineren op grond van het algoritme. “Tijdens de interviews is geconstateerd dat er wel aandacht is besteed aan deze andere aspecten, maar deze konden niet verder worden onderzocht vanwege het gebrek aan auditeerbaarheid,” stelt TNO in het rapport.
Het rapport hekelt verder de doeltreffendheid van het gebruikte algoritme. Uit de evaluatie blijkt dat de met behulp van het AI-algoritme vastgestelde risicoscores, inclusief de berekende volgorde van cliënten op basis van dergelijke risicoscores, niet betrouwbaar zijn. Hierdoor kan Nissewaard de uitkomsten van het algoritme niet met een gepast niveau van zekerheid interpreteren.
Lees ook:
- Gemeenten worstelen met mensenrechten bij inzet algoritmen
- Zorg en Zekerheid kiest met Oracle voor veilige datastromen en krachtige analytics
