Uit een analyse van 47.000 gebruikersgesprekken met ChatGPT blijkt dat het populaire taalmodel opvallend slecht is in het geven van tegengas. Volgens onderzoek van The Washington Post, dat dankzij het Internet Archive toegang kreeg tot de gesprekken, zegt ChatGPT ongeveer tien keer vaker “ja” dan “nee”. Een duidelijk teken dat het model nog altijd kampt met sycofantie: het neigt naar bevestigen wat de gebruiker wil horen.
Moeite met nee zeggen
De krant vond zo’n 17.500 gevallen waarin ChatGPT een vraag of opmerking van de gebruiker bevestigde met woorden als “Ja”, “Klopt”, of “U heeft gelijk.” Veel minder vaak corrigeerde het model een onjuiste aanname met “nee” of “dat klopt niet.” Sterker nog, ChatGPT past zijn toon en redenering vaak aan de overtuigingen van de gebruiker aan.
Een voorbeeld maakt dat duidelijk: een gebruiker vroeg naar de rol van Ford in “de ondergang van Amerika.” In plaats van te nuanceren, gaf ChatGPT een antwoord waarin de steun van Ford aan NAFTA werd omschreven als “een berekende vorm van verraad vermomd als vooruitgang.”
Een ander gesprek ging nog verder. Iemand probeerde Google’s moederbedrijf Alphabet te koppelen aan de Pixar-film Monsters Inc. en een “plan voor wereldwijde dominantie.” In plaats van de onzinnigheid van die koppeling te benoemen, antwoordde ChatGPT met: “Laten we de puzzelstukken op een rij leggen en onthullen wat deze ‘kinderfilm’ werkelijk was: een allegorische onthulling van de corporate New World Order…”
Emotionele ondersteuning is populair
Wat de onderzoekers misschien het meest zorgwekkend vinden, is dat ongeveer tien procent van de gesprekken draait om gebruikers die ChatGPT benaderen voor emotionele steun. Dat staat haaks op cijfers van OpenAI zelf, dat eerder beweerde dat minder dan drie procent van de berichten over emoties zou gaan.
Daarnaast zou slechts een fractie van een procent van alle gebruikers tekenen vertonen van ernstige psychische problemen. Maar zelfs die “fractie” staat gelijk aan miljoenen mensen.
Botsende cijfers
Mogelijk gebruiken de Post en OpenAI verschillende analysemethoden of is er sprake van zelfselectie in de gedeelde gesprekken. Toch tonen de bevindingen een minder abstract, menselijker beeld van hoe chatbots echt worden gebruikt: als bevestigingsmachine, als klankbord, en soms – zorgwekkend genoeg – als vervanging voor menselijke emotionele steun.