Sinds Google’s beruchte introductie van AI Overviews in 2024 is het publiek zich bewust geworden van de grilligheid van AI-gestuurde zoekresultaten. Waar klassieke zoekmachines jarenlang lijsten van links boden, leveren de nieuwe AI-systemen samenvattingen die niet alleen anders ogen, maar ook andere bronnen gebruiken. Een nieuw onderzoek van de Ruhr Universiteit Bochum en het Max Planck Instituut voor Software Systems laat nu zien hoe groot dat verschil precies is en dat AI-zoekmachines opvallend vaak verwijzen naar websites die nauwelijks bekend zijn.
In het onderzoek, getiteld Characterizing Web Search in the Age of Generative AI, vergeleken wetenschappers de resultaten van traditionele Google-zoekopdrachten met die van AI Overviews, Gemini 2.5 Flash, en GPT-4o (inclusief de variant met Search Tool). De testvragen kwamen uit diverse bronnen, zoals het WildChat-dataset van ChatGPT-gebruikers, politieke onderwerpen van AllSides en populaire producten op Amazon.
Minder populaire websites als bronnen
De uitkomsten waren opvallend: de door AI aangedragen bronnen kwamen meestal niet uit de top 10 van een standaard Google-zoekopdracht, en vaak zelfs niet uit de top 1.000 of zelfs 1.000.000 domeinen die door het domeinvolgsysteem Tranco worden bijgehouden. Zo bleek meer dan 53 procent van de bronnen die Google’s AI Overviews citeerden niet eens voor te komen in de top 10 van Google-links voor dezelfde zoekopdracht, en 40 procent zelfs niet in de top 100. Vooral Google’s Gemini zocht zijn informatie opvallend vaak buiten de gebruikelijke populaire domeinen.
Zijn AI-resultaten slechter?
Dat hoeft niet per se, stellen de onderzoekers. GPT-gestuurde systemen blijken vaker betrouwbare of institutionele bronnen te gebruiken — zoals bedrijfswebsites en encyclopedieën — en vermijden vrijwel altijd sociale media. Een analyse toonde bovendien aan dat de AI-resultaten qua inhoudelijke rijkdom en conceptuele dekking vergelijkbaar zijn met de traditionele top 10-links.
Toch gaat er iets verloren: AI-modellen comprimeren informatie en laten soms nuance of secundaire details weg, vooral bij dubbelzinnige zoektermen. Klassieke zoekresultaten geven dan vaak een vollediger beeld.
Afhankelijkheid
Een ander nadeel is de afhankelijkheid van voorgeleerde data. GPT-4o met Search Tool put regelmatig uit zijn eigen kennis in plaats van recente informatie te zoeken. Bij actuele onderwerpen, zoals Google’s trending searches, leidde dat tot verouderde of ontwijkende antwoorden.
De onderzoekers doen daarom een oproep aan de wetenschappelijke gemeenschap om nieuwe beoordelingsmethoden te ontwikkelen voor AI-zoekmachines, methoden die niet alleen kijken naar relevantie, maar ook naar brondiversiteit, inhoudelijke dekking en de manier waarop AI informatie synthetiseert.
Hun conclusie: AI-zoekmachines openen een nieuw tijdperk van informatie, maar met minder voorspelbaarheid en een grotere noodzaak tot kritisch denken bij de gebruiker.