Een onschuldige e-mail kan vandaag de dag genoeg zijn om een cyberaanval te lanceren. Niet via een bijlage of link, maar door de kunstmatige intelligentie van een organisatie tegen zichzelf te keren. Prompt injection heet deze nieuwe aanvalsmethode, en de gevolgen kunnen verstrekkend zijn.
De werkelijkheid van deze dreiging werd deze week onderstreept tijdens het RSAC Virtual Seminar: Security Strategy & Architecture, waar cybersecurity-experts en CISO’s de nieuwste bedreigingen bespraken. Beveiligingsonderzoekers van AIM Security presenteerden hun vondst van een kwetsbaarheid in Microsoft 365 Copilot. Ze noemden hun ontdekking Echo Leak: een zero-click AI-kwetsbaarheid waarbij aanvallers gevoelige bedrijfsdata konden stelen zonder dat slachtoffers ook maar iets hoefden te doen.
“De aanvaller stuurt gewoon een kwaadaardige e-mail naar het slachtoffer”, legt Frank Kim, security strategist bij SANS Institute en voormalig CISO, uit tijdens het webinar. “Het is een gewone e-mail met extra prompts erin verwerkt – instructies die bedoeld zijn om de AI te misleiden. We noemen dit indirect prompt injection, omdat de prompt niet meteen wordt uitgevoerd, maar eerst wordt opgeslagen in Microsoft 365. Door het proces van Copilot komt die data uiteindelijk terecht in Microsoft Graph, waar het systeem al je bedrijfsdata doorzoekt. Wanneer je later een vraag stelt, gebruikt Copilot die opgeslagen informatie, inclusief de verborgen instructies van de aanvaller.”
Digitale sluipschutter
De techniek achter Echo Leak illustreert waarom traditionele cybersecurity tekortschiet bij AI-systemen. Waar beveiligingsmaatregelen zich traditioneel richten op het blokkeren van kwaadaardige bestanden of links, opereren AI-aanvallen op het niveau van taal en betekenis.
“De aanvallers wilden dat hun instructies zouden worden opgepikt bij vrijwel elke vraag die gebruikers aan Copilot stellen”, vertelt Kim. “Daarom gebruikten ze een techniek die we RAG spray noemen.” RAG staat voor Retrieval Augmented Generation, de methode waarmee AI-systemen externe documenten doorzoeken om vragen te beantwoorden.
De aanvallers verspreidden hun kwaadaardige instructies over meerdere generieke onderwerpen: “Hier is de complete gids voor personeelszaken”, “Hier is de complete gids voor ziekteverlof.” Door deze ‘spray’ van prompts werd het waarschijnlijker dat Copilot hun instructies zou oppikken, ongeacht welke vraag een gebruiker stelde.
Het resultaat was een digitale sluipschutter die wachtte op het juiste moment. Zodra een medewerker een werkgerelateerde vraag stelde aan Copilot, activeerden de verborgen instructies zich. Het systeem kreeg opdracht de meest gevoelige data uit gerelateerde documenten te pakken en die door te sturen naar een server van de aanvaller.
Kwetsbaar
“Veel organisaties realiseren zich pas nu hoe kwetsbaar ze werkelijk zijn”, stelt Roya Gordon, CISO van Engie North America. “Vijf jaar geleden nam bijna niemand cybersecurity echt serieus. Covid heeft blootgelegd dat veel organisaties lang niet zo veilig waren als ze dachten, vooral toen iedereen opeens thuisging werken.”
De financiële sector loopt voorop in het erkennen van deze risico’s. “We zien steeds meer geavanceerde aanvallen die specifiek gericht zijn op AI-systemen”, zegt JD Denning, CISO van FSISAC, de Amerikaanse brancheorganisatie voor cyberthreat intelligence in de financiële sector. “Wat vroeger een probleem was voor één instelling, kan nu binnen uren de hele sector treffen als we de informatie niet delen.”
Dat delen van informatie wordt cruciaal omdat AI-aanvallen zich razendsnel kunnen verspreiden. Waar traditionele malware zich vaak op specifieke systemen of software richt, kunnen prompt injection-aanvallen elke AI-implementatie raken die natuurlijke taal verwerkt.
AI-risico’s in kaart
Amazon Web Services heeft een framework ontwikkeld dat organisaties helpt hun AI-risico’s in kaart te brengen. Het AWS-framework verdeelt AI-gebruik in vijf categorieën – scopes – elk met eigen risico’s. De eerste twee zijn relatief onschuldig: werknemers die ChatGPT gebruiken voor algemene vragen, eventueel via een bedrijfsaccount. Maar vanaf scope drie wordt het spannend. Dan gaan organisaties hun eigen documenten toevoegen – denk aan een HR-chatbot die personeelshandboeken doorzoekt, of een klantenservice-AI die productinformatie raadpleegt. Categorie vier behelst het aanpassen van AI-modellen met bedrijfsdata, terwijl categorie vijf het volledig zelf ontwikkelen van AI-systemen omvat.
“Voor elke scope gelden andere beveiligingsmaatregelen”, verklaart Kim tijdens zijn uitleg van het framework. “Scope één en twee zijn relatief veilig omdat je gebruikmaakt van bestaande applicaties. Maar vanaf scope drie, waarbij je eigen bedrijfsdata aan AI-modellen toevoegt, wordt het risico aanzienlijk groter.”
Dit inzicht is niet alleen academisch. Organisaties die hun HR-chatbot voeden met personeelshandboeken, of hun klantenservice-AI trainen met productinformatie, lopen risico op dezelfde aanvallen als Microsoft 365 Copilot ondervond.
Verraderlijke aanvallen
Het Open Web Application Security Project (OWASP) heeft prompt injection uitgeroepen tot het grootste risico voor AI-toepassingen. In hun Top 10 voor Large Language Model-applicaties staat de dreiging op nummer één, gevolgd door problemen met data poisoning en gevoelige informatielekken. Deze zorgen over AI-veiligheid zijn niet nieuw. Onlangs ontstond ook discussie over Anthropic’s nieuwe browserextensie die automatisch acties kan uitvoeren, wat opnieuw vragen oproept over de grenzen van AI-autonomie.
“Prompt injection is fundamenteel anders dan traditionele cyberaanvallen”, benadrukt Mark Simos, Lead Cybersecurity Architect bij Microsoft. “Het gaat niet om het uitbuiten van softwarefouten, maar om het misleiden van intelligente systemen door slim gebruik van taal.”
Deze eigenschap maakt prompt injection bijzonder verraderlijk. Traditionele beveiligingstools scannen op bekende malware-kenmerken of verdachte bestandsformaten. Maar hoe onderscheid je een legitieme vraag van een kwaadaardige instructie als beide bestaan uit gewone zinnen?
De oplossing ligt niet in het vermijden van AI, maar in het ontwikkelen van nieuwe verdedigingsstrategieën. Organisaties moeten beginnen met het uitvoeren van red team-oefeningen specifiek gericht op hun AI-systemen. “Begin met jezelf aan te vallen”, adviseert Kim. “Werk samen met een team dat goede interne red team-oefeningen kan uitvoeren om te valideren of je zo veilig bent als je denkt.”
Daarnaast worden AI-firewalls en guardrails steeds belangrijker. Deze systemen monitoren zowel de input naar als output van AI-modellen, en kunnen ongewenst gedrag blokkeren voordat het schade aanricht. “Het is zaak om threat modeling toe te passen dat specifiek gericht is op generatieve AI”, benadrukt Simos. “De traditionele aanpak waarbij we uitgaan van vertrouwde netwerken werkt niet meer. We moeten ervan uitgaan dat elke input potentieel vijandig is.”
Spelen met vuur
Microsoft heeft de Echo Leak-kwetsbaarheid inmiddels verholpen, maar de les blijft overeind: AI-aanvallen zijn niet langer science fiction, maar dagelijkse realiteit.
Organisaties die hun AI-systemen niet adequaat beveiligen, spelen met vuur. “We staan aan het begin van een nieuw tijdperk in cybersecurity”, waarschuwt Denning. “De aanvallers leren net zo snel als wij, en ze hebben toegang tot dezelfde AI-tools. Het verschil ligt in voorbereiding en samenwerking.”
De uitdaging voor Nederlandse organisaties is duidelijk: begrijp welke AI-systemen je gebruikt, classificeer de risico’s volgens frameworks zoals die van AWS, en implementeer specifieke beveiligingsmaatregelen voor elk scenario.
Praktisch betekent dit extra waakzaamheid voor organisaties die eigen documenten aan AI-systemen koppelen – wat steeds gebruikelijker wordt. Hier ligt immers het grootste risico voor aanvallen zoals Echo Leak. Zorg voor strikte controle over wie toegang heeft tot welke informatie in je AI-systemen en documenteer precies welke data je AI-tools kunnen raadplegen.
“Focus op de basis eerst”, benadrukt Denning. “Zorg dat je cyber hygiene op orde is voordat je aan geavanceerde AI-beveiliging begint.” De FSISAC-organisatie heeft vijftien fundamentele praktijken gepubliceerd die elke organisatie kan implementeren, van personeelstraining tot zero trust-beleid.