Wie bij vacatures en sollicitaties gebruikmaakt van AI werkt onbewust vrouwendiscriminatie in de hand. Dat blijkt uit recent onderzoek van Nationale Vacaturebank en de Radboud Universiteit. Bij testen maakte de toegepaste AI al snel onderscheid op basis van geslacht.
Waar mensen rekening houden met maatschappelijke normen en waarden, kan AI (artificial intelligence) de menselijke maat volledig uit het oog verliezen. Dr. Gido Schoenmacker, lead data science bij Nationale Vacaturebank:
“Bij Nationale Vacaturebank willen we graag zelflerende systemen inzetten. Maar deze systemen leren soms ook dingen die je niet wilt. Daarom is het heel belangrijk om zelflerende systemen te controleren op zulke ongewenste, oneerlijke resultaten.”
Machine learning voor werkzoekenden
Nationale Vacaturebank maakt zelf al gebruik van algoritmes om bijvoorbeeld zoeken naar passende vacatures makkelijk te maken voor werkzoekenden. Zo vertelt Schoenmacker: “Op dit moment speelt AI een bescheiden rol. Wij geven geen gepersonaliseerde resultaten, waardoor een werkzoekende zelf via de website op zoek moet naar banen. Het enige wat we wel doen, is bij sommige vacatures een lijstje van vergelijkbare banen tonen. Een volgende stap kan zijn zoeken naar vacatures automatiseren. In theorie hoef je als werkzoekende alleen je cv te uploaden en je voorkeuren door te geven. De AI gaat vervolgens voor jou op zoek naar de best passende vacatures.”
Om dit te testen onderzocht een zelflerend systeem 900 duizend cv’s en 12 miljoen vacatures en geprobeerd die met elkaar te matchen. Met als doel om op een eerlijke manier vacatures aan te bevelen, zonder te discrimineren op geslacht, ras of religie.
Gido licht toe: “Nationale Vacaturebank ontwikkelt zelflerende systemen om werkzoekenden aan banen te matchen. Wij willen de resultaten uit dit onderzoek gebruiken om dit te kunnen doen zonder vooroordelen. De belangrijkste les is dat menselijke vooroordelen gemakkelijk AI-modellen binnensluipen en dat we ons hier bewust van moeten zijn. “Eerlijkheid” is ook een maat waar we kwaliteitscontrole voor nodig hebben om te kunnen garanderen dat onze systemen mensen juist behandelen. Aan de hand van dit onderzoek gaan wij verder met het ontwikkelen van eerlijke zelflerende systemen.”
AI ziet of anonieme kandidaat man of vrouw is
Bij machine learning krijgt een zelflerend systeem data om patronen te kunnen herkennen, waarna het zelf beslissingen kan nemen op basis van de kennis uit die data. Het systeem onderzocht 467 duizend cv’s van mannen en 437 duizend cv’s van vrouwen uit de database van Nationale Vacaturebank. Alle cv’s zijn geanonimiseerd en bevatten geen persoonsinformatie, zoals naam, adres of andere contactinformatie.
Het eerste dat het systeem constateerde bij het onderzoeken van de cv’s, is dat er verschillende vakgebieden zijn die gedomineerd worden door mannen en vrouwen. Zo staan administratieve en secretariële functies bij 38% van de vrouwen op het cv en maar bij 9% van de mannen, en staan functies in de techniek bij 22% van de mannen op het cv en maar bij 2% van de vrouwen.
Daarnaast viel het de AI op dat vrouwen en mannen ander taalgebruik hanteren, bijvoorbeeld om zichzelf te typeren. Woorden zoals resultaatgericht en winnaarsmentaliteit komen vaker voor op cv’s van mannen; vrouwen gebruiken eerder woorden als teamplayer en communicatief vaardig. Hierdoor kon de AI bij 86% van de geanonimiseerde cv’s
raden wat het geslacht is van de persoon achter het cv.
Bij het matchen van de cv’s aan de vacatures werd het resultaat van deze constateringen direct duidelijk: vrouwen kregen minder vaak matches met vacatures uit de door mannen gedomineerde vakgebieden en vice versa. Ook was het gemiddelde salaris van vacatures die werden gematcht met vrouwen lager dan dat de matches met mannen. Gemiddeld zou een vrouw hierdoor 1680 euro per jaar minder verdienen. Het taalgebruik in vacatures kan hier een oorzaak van zijn. In de vacatureteksten van beter betaalde banen zie je vaker teksten als resultaatgericht, wil om te winnen en geen 9-tot-5-mentaliteit . Dit zijn termen die meer associaties oproepen met het cv van een man.
Kunstmatige Intelligentie die zichzelf corrigeert
Het doel van het onderzoek was enerzijds te zien welke risico’s er zijn op vooroordelen in het gebruik van de data, en anderzijds om te testen hoe Nationale Vacaturebank een eerlijker matchingsysteem kan maken. Het model is nu op twee manieren aangepast om te kijken of de AI het geslacht kon bepalen en de gemiddelde loonkloof kon dichten.
De eerste methode paste woorden aan die kenbaar maken wat het geslacht van de kandidaat is, zoals zij, hij, zijn, haar, hem, man en vrouw. Deze woorden werden vervangen door algemene termen, zoals u, uw, en persoon. Het model wist zelfs met deze aanpassing nog steeds in 85% van de gevallen het geslacht te raden. Nog opvallender was dat de loonkloof zelfs vergroot werd. Met dit model zouden vrouwen gemiddeld 1900 euro per jaar minder verdienen.
In een complexer model gaf het systeem zelf feedback om het geslacht minder goed te kunnen raden. Het resultaat daarvan was dat dat nog maar in 82% van alle cv’s lukte. Ook werd door deze methode de loonkloof gemiddeld 180 euro per jaar minder voor vrouwen. Hoewel dit model ‘eerlijker’ is, moet er meer onderzoek komen om te bepalen in hoeverre deze aanpassing impact heeft op de daadwerkelijke kwaliteit van de matching.
Stappen tegen arbeidsmarktdiscriminatie
Eerdere onderzoeken van TNO en het College voor de Rechten van de Mens concludeerde al dat er weinig bewustzijn is bij werkgevers over arbeidsmarktdiscriminatie door het gebruik van algoritmen en artificial intelligence. Het Ministerie van Sociale Zaken en Werkgelegenheid heeft als reactie hierop Actieplan Arbeidsmarktdiscriminatie gepubliceerd op 14 juli 2022. Een van de focuspunten in dit actieplan is wetgeving meer inzetten ter preventie van arbeidsmarkt- en vrouwendiscriminatie en om gelijkwaardige kansen aan te moedigen.
Er is al een wetsvoorstel aangeboden aan de Tweede Kamer, genaamd ‘Toezicht gelijke kansen bij werving en
selectie’. Als deze wet wordt aangenomen worden werkgevers en intermediairs verplicht over een werkwijze voor non-discriminatoire werving en selectie te beschikken, dit is te lezen in het actieplan. Daarnaast is een vergewisplicht opgenomen in het voorstel. Werkgevers en intermediairs zijn dan verplicht te controleren of werving en selectiepartners en/of geautomatiseerde werving en selectiesystemen beschikken over een werkwijze voor non-discriminatoire werving en selectie.
Nationale Vacaturebank is al een tijd bezig arbeidsmarktdiscriminatie aan de kaak te stellen, bijvoorbeeld met de jaarlijkse Discriminatie Arbeidsmonitor. Voordat een geautomatiseerd systeem op een goede en eerlijke manier wordt ingezet, zijn er nog vervolg onderzoeken nodig. “Wij zitten in de beginfase van het in gebruik nemen van zelflerende systemen. Daarom is onderzoek belangrijk. We willen vanaf het begin het goed doen.” vertelt Dr. Gido Schoenmacker, lead data science.
Clara Rus heeft voor haar master data science aan de Radboud Universiteit dit onderzoek uitgevoerd voor Nationale Vacaturebank. Clara heeft aan de Universiteit van Amsterdam een PhD-positie toegewezen gekregen bij professoren Andrew Yates en Maarten de Rijke bij FINDHR, een Nieuw Horizon Europe-project waarbij discriminatie in algoritmische werven en selectie systemen wordt onderzocht. Tijdens een workshop voor automatische aanbevelingssystemen voor HR in Seattle, Verenigde Staten heeft ze een online presentatie gegeven. Bekijk haar presentatie in onderstaande video.
Lees ook:
- Kabinet pakt regie op digitalisering
- Top 5 ICT-bedrijf Lemontree komt met opmerkelijke wervingsvideo
