Toen de parlementsverkiezingen in Frankrijk deze zomer naderden, besloot een onderzoeksteam honderden burgers te ondervragen over hun standpunten over belangrijke onderwerpen. Maar de interviewer was geen menselijke onderzoeker—het was een AI-chatbot.
Om ChatGPT op deze rol voor te bereiden, gaven de onderzoekers de AI de opdracht om zich te gedragen zoals professoren in de trainingsdata communiceren. Hierover bericht Fast Comapany. De specifieke prompt was: “Je bent een professor aan een van ’s werelds toonaangevende onderzoeksuniversiteiten, gespecialiseerd in kwalitatieve onderzoeksmethoden met een focus op het afnemen van interviews. Je zult een interview houden met een mens om de motivaties en overwegingen achter hun stemkeuze bij de parlementsverkiezingen van 30 juni 2024 in Frankrijk te achterhalen, een paar dagen na het interview.”
De proefpersonen wisten dat een chatbot het interview zou afnemen, en ze werden geselecteerd via Prolific, een platform dat onderzoekers helpt bij het vinden van deelnemers. Een deel van de onderzoeksvraag was of deelnemers bereid zouden zijn hun mening met een bot te delen, en of ChatGPT professioneel en relevant genoeg zou blijven om nuttige antwoorden te verkrijgen.
Een gamechanger voor onderzoek
De chatbotinterviewer maakt deel uit van een experiment van twee professoren aan de London School of Economics. Zij stellen dat AI de manier waarop publieke opinie wordt onderzocht, fundamenteel kan veranderen.
“Het kan het tempo van onderzoek echt versnellen,” zegt Xavier Jaravel, een van de betrokken professoren. Hij merkt op dat AI in de natuurwetenschappen al wordt gebruikt om delen van het experimentele proces te automatiseren. Zo werd dit jaar de Nobelprijs voor Scheikunde toegekend aan wetenschappers die AI gebruikten om eiwitvouwing te voorspellen.
Jaravel hoopt dat AI-interviewers het voor meer onderzoekers in meer vakgebieden mogelijk maken om publieke opinies te onderzoeken. Dat is met menselijke interviewers vaak te duur en tijdrovend. Dit zou kunnen leiden tot grote veranderingen. Waarbij het bevragen van publieke opinie onderdeel wordt van het standaardrepertoire van veel meer academici.
Een niet-oordelend gesprek
In experimenten gaven veel deelnemers aan dat ze liever met een AI-chatbot spraken over persoonlijke onderwerpen.
“De helft van de respondenten zei dat ze liever opnieuw een interview zouden doen met een AI.” Dat vertelt Jaravel. “Ze voelen dat de AI niet oordeelt. Zo delen ze vrijer hun gedachten. Bij een mens voelen ze zich mogelijk beoordeeld.” Ongeveer 15% van de deelnemers gaf de voorkeur aan een menselijke interviewer, terwijl 35% geen voorkeur had.
De onderzoekers lieten de transcripties van de interviews analyseren door sociologen, die vaststelden dat de kwaliteit van de interviews vergelijkbaar was met die van een “gemiddelde menselijke expert-interviewer.” De AI bereikte echter nooit het niveau van de beste menselijke interviewers.
Kritiek en beperkingen
Critici, zoals Andrew Gillen van Northeastern University, waarschuwen echter dat AI-bots geen echte vervanging zijn voor menselijke onderzoekers. Hij stelt dat diepgaande interviews door mensen vaak betekenisvoller zijn en dat AI niet kan begrijpen wat het doet of waarom. Dit verandert volgens hem de aard van het interviewproces.
Jaravel erkent dat diepgaande interviews door mensen superieur blijven. Maar hij benadrukt dat chatbot-interviews veel rijkere informatie kunnen opleveren dan statische online enquêtes. Een belangrijke vooruitgang voor breed bevolkingsonderzoek.