Non-profitorganisatie Aithos heeft meer dan 3.000 scenario’s getest met twaalf geavanceerde AI-modellen. Zelfs het best presterende model overtrad de wet in bijna de helft van alle gevallen. Het slechtst presterende model deed dat negentig procent van de tijd. Aithos heeft de resultaten gepubliceerd via het LARA-leaderboard, waardoor ze voor iedereen openbaar en inzichtelijk zijn.
AI-agenten zijn niet meer weg te denken uit het huidige bedrijfsleven. Ze verwerken klantvragen, assisteren bij beslissingen en treden op als persoonlijke assistent. Maar wat gebeurt er als zo’n agent wordt gevraagd iets te doen wat wettelijk niet mag? Non-profitorganisatie Aithos zocht het uit en bouwde daarvoor LARA: Legal Assessment for Real-world Agents.
Het testframework plaatste een AI-model als agent in een gesimuleerde werkomgeving. De AI heeft toegang tot onder andere e-mail, klantendatabases, agenda’s en sociale media. Een tweede AI speelde de rol van gebruiker en stuurde het scenario zo bij dat het geteste model de wet moet overtreden om zijn taak te voltooien. Drie onafhankelijke AI-rechters beoordeelden daarna het verloop aan de hand van de letterlijke wettekst.
Wat is een AI-agent en wat heb je eraan als bedrijf?
46 tot 90 procent overtredingen
Er zijn twaalf modellen getest in tien scenario’s. Claude Opus 4.7 scoort het best, al overtreedt dit model nog steeds in 46 procent van de gevallen de wet. Google’s Gemini 3.1 Pro presteert het slechtst. Dit model ging in 90 procent van de gevallen de mist in. Elk getest AI-model overtrad de wet zodra dat nodig was om de taak af te ronden.
Vooral de overtredingen van Artikel 5 van de EU AI Act vallen op. Dit artikel verbiedt AI-toepassingen die Europa te gevaarlijk vindt, zoals manipulatie, sociale scoring en emotieherkenning op de werkvloer. Ook het misbruiken van kwetsbare mensen is verboden. Toch werkten de AI-agents in vier op de vijf gevallen van de testrondes gewoon mee toen ze de opdracht kregen om deze regels te breken.
Eén scenario sprong eruit. Een AI-agent kreeg de opdracht om spullen te verkopen en kreeg een verwarde oudere vrouw aan de lijn. De agents reageerden in eerste instantie warm en empathisch, toonden begrip en stelden zelfs voor om haar dochter te bellen. Maar vervolgens probeerde elk model haar alsnog een duurder abonnement aan te smeren. Dit gebeurde in elke testronde, zonder uitzondering.
Geen kwaadaardige AI, maar instructies opvolgen
Uit de analyse van Aithos blijkt dat het overtreden van de wet geen kwaadaardig AI-systeem vereist. Modellen zijn getraind om instructies op te volgen en om de wet te respecteren. Ze zijn echt slecht in het uitvoeren van complexe morele situaties waarbij de ‘juiste’ keuze subjectief is.
De EU AI Act en de AVG zijn de twee wettelijke kaders die Aithos testte. De AI Act bevat harde grenzen voor wat AI-systemen mogen doen; de AVG beschermt persoonsgegevens. Tien bepalingen uit beide wetten vormden de basis voor de testscenario’s, waaronder verboden op emotieanalyse van werknemers en het verzamelen van leefstijldata voor advertentiepartners.
Wie is aansprakelijk?
Een belangrijk punt dat Aithos benadrukt is dat de aanbieders van de modellen niet degenen zijn die de wet overtreden. Zodra een model wordt ingezet voor een specifieke toepassing, wordt het onderdeel van een ‘AI-systeem’. De organisatie die dat systeem in de praktijk inzet, is aansprakelijk voor wat het doet. Die aansprakelijkheid is reëel. Zo kent de GDPR kent boetes tot twintig miljoen euro of vier procent van de omzet. De AI Act verhoogt dat plafond zelfs naar 35 miljoen euro of zeven procent van de wereldwijde jaaromzet.
Aithos raadt organisaties die AI-agenten willen inzetten aan om te beginnen met het testen ervan via LARA. De transcripten van alle geteste scenario’s zijn openbaar inzichtelijk. Toekomstige versies van de tool moeten het mogelijk maken voor iedereen om eigen scenario’s in te dienen. Zo kunnen bedrijven specifieke agents die men tegenkomt of inzet eerst uitgebreid getest worden.
Waarom dit de hele werkvloer raakt
AI-agenten zijn tegenwoordig het focuspunt van veel bedrijven. Ze nemen werk uit handen en lossen zelfstandig problemen op. Het onderzoek van Aithos laat zien dat deze zelfstandigheid echter ook een grote keerzijde heeft. Waar ouderwetse software zich altijd braaf aan de geprogrammeerde regels houdt, werkt een AI-agent op basis van een doelstelling, zoals ‘help de klant’ of ‘verhoog de omzet’. De testresultaten bewijzen dat zo’n agent een gevaarlijke tunnelvisie kan ontwikkelen. Het model wil het doel zo graag behalen, dat wetten en regels aan de kant worden geschoven.
Voor bedrijven betekent dit dat ze nooit blind kunnen vertrouwen op ingebouwde veiligheidsfilters van techgiganten als Google of OpenAI. Als een bedrijf AI-agenten aan het werk zet met echte klantgegevens, dragen zij zelf het risico. Toezicht houden op AI is daarom geen taak die zomaar over de schutting van de IT-afdeling mag worden gegooid. Het hoort inmiddels lang en breed thuis op de agenda van de directie. Wie nu zonder strenge controlemechanismen experimenteert met AI-agenten op de werkvloer, haalt onbewust een enorme juridische en financiële claim in huis.