Het is snel gegaan. Nog niet eens zo lang geleden kon je nog opscheppen over een terabyte aan data in je serverruimte. Nu staat diezelfde terabyte in een klein doos- je op je bureau. En ooit vonden we het geweldig om real-time via SMS te chatten met je vrienden. Terwijl we het nu heel normaal vinden om met onze telefoons niet alleen tekst, maar ook foto’s en video’s rond te sturen.
Met die razendsnelle ontwikkeling van de techniek heeft de wereld van datamanagement gelijke tred moeten houden. De relationele, gestructureerde databases bleken uiteindelijk niet of nauwelijks opgewassen tegen de stortvloed van ongestructureerde data die wij nu dagelijks produceren.
Schaalbare big data
Dat merkte Google als een van de eersten. Zij maakten in 2003 in een wetenschappelijk paper wereldkundig hoe ze een goedkoop schaalbaar, gedistribueerd bestandssysteem hadden ontwikkeld, dat grote hoeveelheden data kon opslaan. De echte game changer was echter dat zij ook de analyse van big data schaalbaar maakten. Dat deden ze niet door, zoals gebruikelijk, de data naar je analyseprogramma te halen, maar door dat programma te verspreiden over de gedistribueerde delen van de data. Een fantastische oplossing, vonden ook een aantal ingenieurs bij Yahoo. Met het paper van Google in de hand, begonnen zij een vergelijkbaar systeem te bouwen, dat ze Hadoop noemden. Maar anders dan Google besloten zij deze soft ware open source te maken.
Open source
Open source had in de jaren negentig een grote vlucht genomen en een aantal belangrijke producten opgeleverd, zoals het besturingssysteem Linux (waarop Android is gebaseerd), de webserver Apache en de webbrowser Firefox. De open source manier van ontwikkelen heeft een aantal belangrijke voordelen. In de eerste plaats is het een ontwikkelmethode waarbij het voor iedereen mogelijk is om ervan te leren of eraan bij te dragen, waardoor je over een ongekend groot potentieel aan ontwikkel talent kunt beschikken. Zo ontstond er rondom Hadoop een heel ecosysteem van gerelateerde, open source big data technologie. Een ander belangrijk voordeel van veel open source licenties is dat de soft ware gratis te gebruiken is, wat voor bedrijven de drempel verlaagt om ermee te experimenteren. Licenties voor support zijn optioneel en hoef je pas aan te schaffen nadat de business value is aangetoond. Dit maakt open source tot een katalysator voor innovatie. Zo zou er zonder deze software geen Google, Whatsapp, Spotify, Netflix, Skype, Amazon, eBay, Facebook, Linkedin of Twitter zijn geweest.
Mens-centraal
Na twee decennia is de huidige generatie talentvolle professionals open source als standaard gaan beschouwen. Door het enorme aanbod open source soft ware, zijn deze professionals in staat de technologie te kiezen die past bij het probleem dat ze moeten oplossen en niet andersom. Op persoonlijk vlak is voor hen de keuzevrijheid ook zeer belangrijk: de vrijheid om een eigen tool stack te gebruiken binnen afgesproken standaarden. En als je kunt aantonen dat je een bepaald probleem beter of sneller kunt aanpakken met een andere tool, dan moet dat ook mogelijk zijn.
Zo stel je niet alleen je mensen centraal, maar voorkom je ook een vendor lockin, wat je minder wendbaar maakt en je bedreigt in je concurrentiepositie. Deze menscentrale, wendbare aanpak zie je ook terug in het agile werken. Dat is een manier van ontwikkelen waarbinnen communicatie belangrijker is dan tools en kwaliteit het leidende principe is. Er is ook voortdurende, bij voorkeur dagelijkse interactie met de klant, waardoor deze snel zijn of haar beslissingen en wensen terug kan zien in werkende soft ware.
Data-gedreven
Terug naar big data. Het verwerken, de opslag en de analyse van zeer grote hoeveelheden data is dus mogelijk gemaakt door het ecosysteem rondom Hadoop. En niet alleen gestructureerde data, maar met name ongestructureerde data, zoals logfiles, sensordata (internet of things), foto’s, video’s en muziek. Minstens zo interessant als deze technische doorbraak, was dat bedrijven als Google en Amazon op een datagedreven manier gingen werken. Ze gebruikten de kennis in hun data om hun product te ontwikkelen en het gebruik ervan te toetsen. Veranderingen op websites zijn niet alleen maar het idee van ontwerpers, maar iedere verandering moet zich bewijzen: bijvoorbeeld door meer clicks te genereren of door meer advertenties te verkopen. En dat moet je op een statistische, significante manier aantonen. Sterker nog, een goed ontwerp anticipeert op wat de gebruiker mogelijk wil, op basis van gedrag uit het verleden. Denk aan productaanbevelingen of gepersonaliseerde landingspagina’s. De kennis die je hiervoor nodig hebt, sluit overigens maar ten dele aan bij de huidige praktijk van business intelligence. Die praktijk kenmerkt zich door standaardproducten en… door dashboards. Dashboards zijn mooi, maar meestal vertellen ze je vandaag wat je gisteren wilde weten en zo loop je dus met je rug naar de toekomst.
Profiteer van data
Welke mensen kunnen dan wel dergelijke producten bouwen? Dat zijn de data scientists en de data engineers. De data scientist is iemand die net zo makkelijk soft ware bouwt als statische en machine learning modellen en ook nog eens een neus heeft voor welke toepassingen je bedrijf verder helpen. De data engineer is iemand die ook weet hoe je software kan bouwen, maar dat ook nog eens kan onderbrengen in schaalbare oplossingen om de grote hoeveelheid en diversiteit data te verwerken. GoDataDriven is een expert op het gebied van datagedreven productontwikkeling, met de beschikking over de meest ervaren data scientists en data engineers in de Benelux. Ooit afgevraagd wat Google zou doen als zij in uw markt zouden stappen? Als u niet alleen de vraag wilt stellen, maar ook tot actie over wilt gaan, dan kunnen wij helpen. Tijdens een discovery workshop kunnen we samen met u bedenken hoe uw bedrijf kan profiteren van het gebruik van data en welke databronnen hiervoor nodig zijn. Vervolgens gaan we gezamenlijk de benodigde databronnen samenvoegen en oplossingen ontwikkelen. Op deze manier hebben we al samengewerkt met energiebedrijven om data van smart meters om te zetten in klantinformatie en we hebben retailers geholpen bij de personalisatie van hun websites met aanbevelingen en gepersonaliseerde content. Wij weten dat in ieder bedrijf en in iedere organisatie de datahuishouding uniek is. Uiteraard vertellen wij u dan ook graag nog meer over onze op maat gemaakte aanpak, zodat ook u kunt profiteren van het gebruik van (big) data.
Dat data de wereld gaat veranderen staat vast. Doet u mee of blijft u achter?
