In sommige landen kun je maar moeilijk grote opdrachten scoren zonder omkoping en sommige concurrenten doen daar aan mee. Natuurlijk hebben ondernemingen, privaat en publiek, altijd al morele en ethische dilemma’s gehad. Maar door de komst van big data en machine learning nemen de ethische dilemma’s ingrijpend toe. De komende jaren zal ethiek steeds meer een punt van discussies zijn. Daar kan je dan maar beter op voorbereid zijn…
In Amerika zijn ze gek op Missverkiezingen. Probleem daarbij is natuurlijk de subjectiviteit van de jury. Het was dus niet vreemd dat ze probeerden de jurering over te laten aan een computer, die was natuurlijk juist heel erg objectief. Met behulp van machine learning werd een programma opgesteld, dat werd gevoed met een heleboel foto’s van mooie vrouwen. Uiteindelijk bleek de computer uitermate racistisch, alleen blanke modellen eindigden bovenaan. Kennelijk waren er teveel foto’s van blanke mensen ingevoerd.
In New York wordt in arme wijken vaker gecontroleerd op wapenbezit, dat is daar groter dan in andere wijken. In arme wijken wonen relatief veel gekleurde mensen. In Amerika hebben best veel mensen drugs bij zich, onafhankelijk van hun kleur dus bij de controles op wapenbezit stuitte de politie vaak op drugs. Uit de (big) data-analyses (b)leek dat veel zwarte mensen drugs gebruiken en dus werd besloten zwarte mensen, ook in andere wijken, vaker te controleren op drugs. Het klinkt logisch, maar het klopt niet. Als we niet zorgvuldig met onze data omgaan, falen we moreel.
Patroonherkenning
Bij big-data-analyses en machine learning laten we ontzettend veel keuzes over aan de computer. Die oordeelt op basis van patroonherkenning. Dat kan leiden tot ongewenste keuzes en ongewenst gedrag, al dan niet veroorzaakt door een verkeerde dataselectie. En dat wordt alleen maar erger.
Een ongekende versnelling
Informatie en technologie maken een ongekende versnelling door. De verwerkingscapaciteit van chips verdubbelt elke twee jaar en doet dat al 46 jaar. Apparaten worden alleen maar sneller, kleiner, beter, goedkoper en eenvoudiger. Sensoren (internet of things!) kunnen al zien, horen en voelen en ze kunnen steeds beter ruiken en proeven. We kunnen dingen zintuigen geven! Mede daardoor slaan we steeds meer gegevens op, waar we steeds meer mee kunnen. De hoeveelheid data die we opslaan, onder andere op kleitabletten, schrift, video en digitaal, verdubbelt ook al elke twee jaar. Dat betekent dat we de afgelopen twee jaar net zoveel data hebben opgeslagen als we hebben gedaan tussen de oerknal en twee jaar geleden! En dat we de komende twee jaar net zoveel data gaan opslaan als we hebben gedaan tussen de oerknal en nu. En omdat we via de sociale media steeds meer informatie met elkaar delen, kun je eigenlijk niks meer geheimhouden. Kun je je nog Pieter Storms herinneren, die met Breekijzer bedrijven kwam ontregelen? Zijn kleine broertjes Twitter Storms ontregelen nog veel meer! Kortom: er kan steeds meer, we kunnen steeds meer met data, maar de risico’s nemen toe en we kunnen niks meer geheimhouden. Oei!
De mogelijkheden van big-data-analyses zijn groot. BP heeft heel veel pijpleidingen waar olie doorheen stroomt. Die pijpleidingen zitten vol met sensoren, die voortdurend allemaal gegevens bijhouden en vastleggen. Op een gegeven moment heeft BP alle data uit die sensoren in een analysetool gestopt. Daar kwam uit dat één soort olie verantwoordelijk was voor 75 procent van alle slijtage aan die pijpleidingen. Tot dan had BP zich nooit afgevraagd of de slijtage per olie er toe deed. Relevante informatie voor het onderhoud van pijpleidingen dus. Big-data-analyses geven niet alleen verrassende en gedetailleerde antwoorden op je vragen, ze geven ook antwoorden op vragen die je nog nooit hebt gesteld! Met big data kunnen we op die manier ook beter criminelen vangen, ziektes bestrijden en mensen genezen, klantgedrag voorspellen en nog veel meer.
Machine learning doet daar nog een schepje bovenop, het leidt tot daadwerkelijk intelligent gedrag. Go Pro van Google wint overtuigend van de menselijke wereldkampioen Go, en dat was door velen nog voor lange tijd onmogelijk gehouden. Steeds meer machine learning programma’s doorstaan de Turing-test (zie kader) met gemak. Chatbots kunnen daadwerkelijk gesprekken voeren, nog even en receptierobots zijn beter dan mensen. Ze weten alles van hun klanten. De robot Sophia kan gesprekken voeren en heeft zelfs een min of meer menselijke mimiek. Ze is gevat, en dat is niet ingeprogrammeerd: “Kunnen robots zelfbewust zijn en weten dat ze robots zijn?” “Nou, laat mij dit terugvragen: hoe weet jij dat je een mens bent?” Sophia heeft in Saudi-Arabië zelfs burgerrechten gekregen.
Keerzijde
Maar er is een keerzijde. Microsoft heeft een AI-chatbot op Twitter, ze heet Tay. Ze leert van de gesprekken die ze voert. Dat leek een usergroup binnen 4chan wel een uitdaging, ze voedden Tay met gekleurde informatie en ook nog met veel. Binnen 24 uur begon Tay antifeministische, racistische en nazistische taal uit te slaan, waarna Microsoft haar van Twitter haalde.
Data science en machine learning herkennen patronen en maken op basis van patronen onderscheid. Een ander woord voor onderscheid maken is ‘discrimineren’. Dat is sowieso op of over het randje. Als je daar ook nog eens, onbewust of bewust, tendentieuze data in stopt, dan kunnen daar extreme of extremistische resultaten uit komen. We begeven ons op glad ijs, big data en machine learning zijn volledig ethiekloos. Dat hoeft niet erg te zijn, maar dat kan wel erg zijn.
Hoe mooi de mogelijkheden ook zijn, er ontstaan ook grote risico’s. Ondernemingen moeten zich realiseren dat zij met de keuze voor patroonherkenning en machine learning de regie voor een deel uit handen geven. Er wordt een zekere mate van onvoorspelbaarheid geïntroduceerd. Natuurlijk, we kunnen zelf bepalen welke data we wel en niet beschikbaar stellen, maar wat er daarna met die data wordt gedaan, daar hebben we geen zicht op, big-data-analyses en machine learning zijn niet alleen ethiekloos, ze acteren ook nog eens onzichtbaar. We weten dus ook niet precies wat de uitkomsten betekenen en of die wel legaal, volgens de wettelijke regels, tot stand zijn gekomen. En zelfs als er niets onoorbaars gebeurt, kunnen we onze transparantie verliezen, naar management, auditors, wetgevers en samenleving. In hoeverre is dat nog in de haak?
Legitimiteit
Daarnaast is het de vraag of legaal zijn wel genoeg is. Willen we niet ook legitiem handelen? Het onderscheid tussen legaal en legitiem wordt zeer actueel. Iets wat legaal is, hoeft niet te stroken met de huidige opvattingen over wat legitiem is. Je wilt niet dat je klanten over je zeggen dat ‘het wel mag, maar niet deugt’. Opvattingen kunnen in de loop van de tijd ook nog eens wijzigen, denk bijvoorbeeld aan discussies over belastingontwijking. Eigenlijk zou je dus vijf jaar vooruit moeten kunnen denken. Is de beslissing die we nu nemen over vijf jaar ook nog verdedigbaar?
Hoe meer data we vastleggen, hoe meer privacy een rol gaat spelen. We zullen dus ook alle privacy-aspecten moeten meenemen in deze discussie, of het nou over legaliteit gaat of over legitimiteit.
Want wat als we door ons handelen, of door het handelen van één medewerker, onze klanten verliezen? Of onze medewerkers, of onze partners? Wat als we het vertrouwen van onze toezichthouders kwijtraken? En wat als we onszelf kwijtraken? En hoe krijgen we big-data-analyses, machine learning en software bots in het gareel? Dat is een tweede, nog veel complexere vraag.
Moreel kompas
Bob Dylan zong ooit: “To live outside the law, you must be honest”. Juist in deze tijden loopt de wetgever ver achter op de ontwikkelingen in onze maatschappij. Daar kunnen private en publieke ondernemers die overwegen met machine learning aan de slag te gaan niet op wachten. We moeten wel buiten de wet leven, want de wet volstaat vaak niet meer. En wat legitiem is, bepaal je zelf, maar uiteindelijk ook de publieke opinie.
Morele dilemma’s hebben altijd bestaan. Ondernemingen hebben altijd al een moreel kompas moeten hebben. Maar door big data en machine learning neemt de noodzaak wel erg toe. We zullen moeten kiezen: vinden we legaal genoeg, of willen we ook legitiem zijn? Kunnen sommige vormen van illegaal toch legitiem zijn?
We kunnen er niet meer omheen, we zullen expliciet een aantal morele keuzes moeten maken, juist in een tijd waar besluitvorming vaak decentraal, of in zelfsturende teams plaatsvindt. Of zelfs in computers. Dat is geen eenmalige actie. Nieuwe morele dilemma’s zullen zich aandienen en oude morele vragen zullen we willen voorzien van nieuwe antwoorden.
Het is noodzakelijk dat we expliciete keuzes maken, maar die moeten we daarna nog wel vertalen naar beleid dat ook bij latere maatschappelijke discussies de toets der kritiek kan doorstaan. En we moeten ervoor zorgen dat mensen en machines in het verlengde van die keuzes gaan acteren. Hoe sturen we het gedrag van mensen en machines? Natuurlijk kunnen we spelregels vaststellen, maar dat lijkt niet de beste manier om ons morele kompas te verankeren. Beter kunnen we principes definiëren, nog beter is het om het morele kompas te verankeren in het DNA van de onderneming. Zodat iedereen altijd de juiste keuzes maakt. En we moeten niet alleen ons zichtbare gedrag richten, maar ook ons onzichtbare. Door de social push neemt de kans alleen maar af dat je dingen geheim kunt houden, al helemaal als het niet legitiem was. Er staan dagelijks voorbeelden in de krant.
We doen aan marketing omdat we ons coherent en consistent willen gedragen naar de markt. Willen we dan niet ook coherent en consistent zijn op ethisch gebied? Ethiek en het morele kompas zullen alleen maar belangrijker worden. Zijn we toe aan een Chief Ethics Officer?
Ten slotte
Ethiek en een moreel kompas zijn zaken van belang geworden. Het gaat er om dat we expliciete keuzes maken, die er voor zorgen dat de hele onderneming coherent en consistent acteert. Uiteindelijk moet je die keuzes aan jezelf en aan je medewerkers kunnen uitleggen. Bovendien zal je altijd een aannemelijk verhaal moeten hebben voor de aandeelhouders, wetgevers, toezichthouders, auditors en eigenlijk aan de hele samenleving. Als je daar nu geen werk van maakt, ben je straks te laat.
De Turing-test
In 1950 bedacht Alan Turing de Turing-test. Is een mens in een (geanonimiseerde) conversatie in staat om vast te stellen wie een computer is en wie een mens. Tot voor kort kwam geen enkele computer door de Turing-test.
