Eerst was er het mainframe. Een mooi overzichtelijk model met centrale data en verwerking. De schermen bij de grbuikers decentraal om de informatie te tonen. Daarna kwamen de minicomputers van HP, IBM en anderen waarmee de rekenkracht dichterbij de gebruiker werd neergezet met de data die daarvoor nodig was en de schermen op die systemen aangesloten. Vervolgens client server waarbij de werkplek zelf veel rekenkracht bevat en samenwerkt met de juiste servers om centrale data en verwerking te doen.
Nu hebben we de cloud. Alles op internet beschikbaar en elke werkplek is niets anders dan een beeldscherm met een internetbrowser om de centrale data en computing power zichtbaar te maken aan de gebruikers. Dit lijkt toch wel erg veel op de situatie met het mainframe van vroeger en is even onhoudbaar door de enorme behoefte aan data en de analyse daarvan. De roep om big data wordt de doodsteek voor de allesomvattende cloud.
Een voorbeeld om het duidelijk te maken. Een vliegtuig in vlucht vergaart een enorme hoeveelheid data over brandstof, druk, hoogte, richting, snelheid enzovoort. Maar waarom niet over de films die de reizigers bekijken? Het tijdstip waarop dat gebeurt, het volume dat wordt gekozen, de etenskeuze en of dat leeftijdsafhankelijk is, de taalkeuze voor de ondertiteling, enzovoort. Een walhalla voor marketeers en procesmanagers. Een groot deel van deze data willen we realtime kunnen inzien. Studies hebben uitgewezen dat de verzamelde data die op een gemiddelde Europese vlucht wordt verzameld rond de 1 petabyte ligt. Deze enorme hoeveelheid data is voor een luchtvaartmaatschappij met een vloot van enkele honderden vliegtuigen niet te verwerken en te analyseren via een centrale cloud.
De oplossing hiervoor is een lokale cloud in ieder vliegtuig. De data wordt dan in de lokale cloud verzameld en verwerkt. Eventuele analyses kunnen worden uitgevoegd in het vliegtuig en alleen relevante data wordt naar de centrale verwerking gestuurd. Daar wordt de data gecombineerd met data uit andere cloud-bronnen (vliegtuigen) en wordt een analyse gemaakt. Deze data kan eventueel nog verrijkt worden met data uit andere clouds, zoals een movie database, financiële gegevens en dergelijke.
De big data van de toekomst gaat niet naar de algemene cloud, maar blijft in een eigen cloud. Het enige dat dan wel noodzakelijk is, is een uniforme, open standaard om de connecties tussen die clouds te maken. Openstack is daarvoor door een consortium gedefinieerd en neemt momenteel inderdaad een razendsnelle vlucht qua acceptatie. Proprietary cloud-besturingen zoals die voor Amazon, Microsoft Azure of IBM op de markt zijn gekomen, zullen nooit de wereldwijde standaard worden en derhalve zullen we worden ontsloten door de openstack laag.
Big data in een hybride, gedistribueerde cloud-omgeving met een open standaard voor de besturing en het beheer daarvan. Ik ben benieuwd wat de volgende fase wordt…. een cloud op ieders bureau?
