Een proefschrift van een onderzoeker van het Centraal Bureau voor de Statistiek, CBS, zorgt voor een doorbraak in hoe je kunt omgaan met bias.
Promovendus Quinten Meertens onderzocht in het proefschrift ‘Misclassification Bias in Statistical Learning’ hoe je statistische vertekening bij machine learning algoritmen kunt corrigeren. Zijn methode is intussen al in gebruik bij het CBS.
Volgens Meertens zijn er al sinds de jaren 50 van de vorige eeuw allerlei goede methoden om bias te corrigeren. “We hebben voor twee situaties kunnen bewijzen welke van de bestaande correctiemethoden het beste is. De eerste situatie is het eenmalig produceren van een statistiek op basis van classificatie-algoritmen. Dan is de zogenaamde calibration estimator het beste. De tweede situatie betreft het produceren van statistieken over een langere tijdsperiode, wat resulteert in tijdreeksen. Dan blijkt, onder bepaalde voorwaarden, de zogenaamde misclassification estimator de betere methode.”
Volgens Meertens is het van belang om binnen de officiële statistiek deze correctiemethoden in te zetten. In de praktijk bij het CBS gebeurt dit ook al, bijvoorbeeld bij de statistieken over zonnepanelen, innovatieve bedrijven en cybercrime.
Innovatieprijs
Meertens studeerde wiskunde aan de Universiteit van Amsterdam. Na zijn studie ging hij in 2015 aan de slag bij het CBS als statistisch onderzoeker bij de economische bedrijfsstatistieken. In die functie fungeerde hij als een soort ‘vliegende kiep’ en was hij betrokken bij veel verschillende projecten. In 2016 werd hij projectleider internethandel.
“Ik heb onderzocht hoe de aankopen van goederen uit het buitenland via internet zo goed mogelijk kunnen worden geschat. Dat was al meerdere keren bestudeerd door mijn collega’s, maar er was nog geen manier gevonden om goede schattingen te maken.’ Meertens verdiepte zich verder in dit onderwerp en kwam tot een eerste schatting door gebruik te maken van webscraping en classificatie-algoritmen, die binnen machine learning veel worden gebruikt. Dat leverde hem de innovatieprijs van zijn divisie op. Eind 2016 besloot de talentvolle wiskundige promotieonderzoek naar dit onderwerp te doen.”
Coronabesmettingen
De eerste twee jaar van zijn promotieonderzoek besteedde Meertens aan het uitdiepen van de onderzoeksvraag: welke data en methoden zijn nodig om de aankopen via internet in het buitenland goed te meten? Gaandeweg ontdekte hij dat bij het gebruik van classificatie-algoritmen voor het maken van officiële statistieken een bias kan ontstaan. Tijdens de verdediging van zijn proefschrift op 28 april jl. aan de Universiteit van Amsterdam legde hij die bias uit aan de hand van een actueel voorbeeld: de coronabesmettingen in ons land.
“Om de maatregelen en versoepelingen te bepalen is het aantal besmettingen belangrijk, niet wie er precies besmet zijn. De uitkomst is gebaseerd op de PCR-testen, maar die geven soms een verkeerde uitslag. Het gevolg is dat als je alle testuitslagen bij elkaar optelt de totale uitkomst niet juist is: dat is misclassification bias. De vraag is: hoe corrigeer je voor deze bias?”
Doorbraak
Meertens’ promotoren Jaap van den Herik en Cees Diks zijn buitengewoon lovend over het proefschrift van de promovendus. Van den Herik, hoogleraar Recht en Informatica bij de Faculteit Wiskunde en Natuurwetenschappen van de Universiteit Leiden: “Het proefschrift brengt op een unieke manier verschillende onderzoeksvelden bij elkaar: econometrie, wiskunde en informatica. Het resultaat van de studie is een doorbraak in het denken over bias. Meertens brengt bias onder in een nieuw multidisciplinair gebied. Dit gebeurt door het zorgvuldig bestuderen en analyseren van theorie, methoden en technieken uit de genoemde velden.”
Meertens heeft bij zijn onderzoek veel waardevolle feedback gehad van zijn promotoren en zijn copromotor Frank Takes. Ook zijn CBS-collega’s bleken goede partners om mee te sparren over het onderwerp, omdat zij dezelfde vraagstukken in hun werk tegenkwamen. “Het was bewonderenswaardig hoe mijn collega’s met mij hebben samengewerkt. Daarnaast heb ik van het CBS de mogelijkheid gekregen aan het proefschrift te werken tijdens kantooruren. Daar was ik erg blij mee, want daardoor kon ik snel meters maken.”
Na zijn promotie blijft Meertens werkzaam bij het CBS als hoofd van het team Rechtsbescherming en Veiligheid. Verder blijft hij verbonden aan de Universiteit van Amsterdam.
Lees ook:
- CBS: groei datalekken vooral bij grote bedrijven
- Data-urgentie in de gezondheidszorg
