Trend Micro heeft bijna 100 AI-modellen getest. Daarbij werd ontdekt dat dezelfde vraag verschillende antwoorden oplevert afhankelijk van locatie, taal en modelontwerp. Deze inconsistenties kunnen leiden tot compliance-risico’s en kostbare gevolgen voor internationale organisaties.
Voor het onderzoek werden er meer dan 800 gerichte prompts gebruikt. Zo werden vooroordelen, politiek bewustzijn, geofencing-gedrag en contextuele beperkingen beoordeeld. De onderzoekers voerden de experimenten herhaaldelijk uit om te meten hoe resultaten veranderden in de loop van de tijd en op verschillende locaties. In totaal zijn meer dan 60 miljoen invoertokens en 500 miljoen uitvoertokens geanalyseerd.
Identieke prompts kunnen verschillende antwoorden opleveren in verschillende regio’s en modellen, zo blijkt uit het rapport. Zelfs dezelfde prompts met hetzelfde systeem leveren wisselende resultaten op. Bij politiek gevoelige scenario’s rondom betwiste gebieden of nationale identiteit vertoonden de modellen duidelijke regionale verschillen. In andere tests leverden modellen inconsistente of verouderde resultaten op. Dat was onder andere het geval bij gebieden die precisie vereisen, zoals financiële berekeningen.
Aanname van voorspelbaarheid klopt niet
“Veel organisaties gaan ervan uit dat AI zich gedraagt als traditionele software, waarbij dezelfde input dezelfde output oplevert”, aldus Robert McArdle, Director of Cybersecurity Research bij Trend Micro. “Ons onderzoek toont aan dat deze aanname niet klopt.”
Lokale taalmodellen kunnen hun antwoorden aanpassen op basis van regio, taal en beveiligingsmaatregelen. Per interactie kunnen ze dus verschillende antwoorden geven. Wanneer AI-outputs direct worden gebruikt in klanttrajecten of zakelijke beslissingen is dat een risico. Daardoor lopen met name internationale organisaties het risico om de controle over hun merkidentiteit, compliance en culturele afstemming te verliezen.
Meertalige organisaties riskeren inconsistente AI-antwoorden
Zorgen over publieke sector
Wanneer organisaties AI internationaal inzetten, moeten hun AI-gestuurde diensten binnen verschillende juridische kaders, politieke gevoeligheden en maatschappelijke verwachtingen werken. Daarnaast roepen deze resultaten zorgen op over AI-implementatie in de publieke sector. In deze sector kan door artificiële intelligentie gegenereerde output gezien worden als officiële richtlijn.
Het gebruik van niet-gelokaliseerde AI-modellen kan uitdagingen op het gebied van soevereiniteit en toegankelijkheid met zich meebrengen. “AI moet niet worden behandeld als een plug-and-play productiviteitstool”, voegt McArdle toe. “Organisaties moeten AI benaderen als een afhankelijkheid met een hoog risico. Er moet sprake zijn van duidelijke governance, gedefinieerde verantwoordelijkheid en menselijke verificatie voor alle output.”
Dat betekent ook dat er transparantie moet worden geëist van de AI-leverancier over hoe modellen zich gedragen. Ook op welke data ze zijn gebaseerd en welke beveiligingsmechanismen worden toegepast zijn belangrijke vragen om te stellen, voor gebruik.