Hoe kunnen we relevantie halen uit big data? Dat is een van de meest pregnante vragen in boardrooms. Iedere organisatie heeft een datastroom, of het nu gaat om data van gebruik van apparatuur, tweets van consumenten of open data die iedereen vrijelijk kan gebruiken. Hoe kun je op een geautomatiseerde manier betekenis halen uit die data? Dat is waar het Commit-project Information Retrieval for Information Services zich op richt.
Maarten de Rijke is hoogleraar Information Retrieval aan de Universiteit van Amsterdam en werkt daarnaast één dag per week op de Vrije Universiteit. Sinds mei 2011 houdt hij zich bezig met het project Information Retrieval for Information Services, kortweg Infiniti.
Hij steekt van wal: “Ons vakgebied bestaat al sinds de jaren ’40 van de vorige eeuw, toen de eerste elektronische media verschenen. In eerste instantie richtten de algoritmes zich alleen op metadata, meer rekencapaciteit was er immers niet. Later werd het mogelijk om documenten full text te doorzoeken. Naarmate dat soort zoekvragen meer hits opleverde, ontstond er behoefte om niet domweg een lijst op te hoesten met alle documenten waar dat woord in voorkwam, maar op basis van een bepaalde structuur de zoekresultaten in een logische volgorde te plaatsen. Die structuur kan van alles zijn: de structuur van citaties of van hypertext-links, de semantische structuur. Nog weer later, toen ‘zoeken en vinden’ via Google doordrong tot de massa, werd ook gebruikersdata eraan toegevoegd om te bepalen in welke volgorde resultaten werden gepresenteerd. Met gebruikersdata bedoelen we dingen als klikgedrag: hoeveel mensen hebben op een link geklikt, hoe lang zijn ze blijven hangen enzovoort.”
Deze manier van zoeken en vinden werkt in veel gevallen nog altijd heel bevredigend, maar in het tijdperk van big data willen we meer, zo denkt De Rijke. Lees hier het complete interview met De Rijk.
