Cloudflare introduceert nieuwe tools en standaardinstellingen waarmee website-eigenaren meer controle moeten krijgen over de manier waarop AI-bedrijven hun content gebruiken. Het bedrijf wil daarmee inspelen op een fundamentele verandering van het internetverkeer: geautomatiseerde agents en bots zijn inmiddels goed voor meer dan de helft van alle webverzoeken. Volgens Cloudflare vraagt die ontwikkeling om nieuwe afspraken tussen website-eigenaren, uitgevers en AI-ontwikkelaars.
AI-crawlers
De kern van de nieuwe aanpak is volgens Cloudflare samen te vatten als: jouw content, jouw regels. Website-eigenaren moeten zelf kunnen bepalen of hun content alleen vindbaar mag zijn, ook gebruikt mag worden door AI-agenten of beschikbaar mag zijn voor AI-training. Vooral zogenoemde crawlers voor gemengd gebruik liggen daarbij onder vuur. Deze bots combineren zoeken, agentgebruik en training, waardoor website-eigenaren moeilijk kunnen kiezen waarvoor hun content wel of niet wordt gebruikt.
Classificaties en standaardinstellingen
Cloudflare wil daar verandering in brengen met nieuwe classificaties en standaardinstellingen. De komende twee maanden verzamelt het bedrijf feedback en test het de nieuwe aanpak. De streefdatum is 15 september 2026. Vanaf die datum worden nieuwe klanten en nieuwe websites van bestaande klanten standaard zo ingesteld dat zoekactiviteit wordt toegestaan, maar training en agentgebruik worden geblokkeerd op pagina’s met advertenties. Crawlers die geen onderscheid maken tussen zoeken, training en agentgebruik worden op dergelijke pagina’s geweerd. Bestaande gratis klanten die vóór die datum geen eigen instellingen kiezen, vallen eveneens onder de nieuwe standaard.
Eerlijker model
Volgens Cloudflare is de inzet niet om AI te blokkeren, maar om een eerlijker model te creëren. Veel website-eigenaren willen vindbaar blijven in AI-zoekmachines en agentische toepassingen, maar willen niet dat hun werk zonder toestemming of vergoeding wordt gebruikt om commerciële AI-modellen te trainen. Voor uitgevers en makers die afhankelijk zijn van advertenties, abonnementen of licenties kan dat verschil cruciaal zijn.
Naast de nieuwe toegangsregels introduceert Cloudflare ook het Attribution Business Insights-dashboard. Daarmee kunnen uitgevers zien hoe AI-bots hun content gebruiken en hoeveel menselijk verkeer specifieke AI-bedrijven daadwerkelijk opleveren. Dit moet helpen bij onderhandelingen over licenties en vergoedingen. Volgens Cloudflare is de markt voor betaalde contentlicenties inmiddels volop in beweging, met tientallen overeenkomsten tussen uitgevers en AI-platformen.
Answer Engine Optimization
Het bedrijf zet bovendien in op Answer Engine Optimization, of AEO. Waar klassieke zoekmachineoptimalisatie draaide om vindbaarheid in zoekresultaten, gaat AEO over de zichtbaarheid van content in AI-antwoorden. Uitgevers moeten kunnen zien hoe vaak hun content wordt geciteerd, in welke modellen zij zichtbaar zijn en welke waarde dat oplevert.
Cloudflare werkt daarnaast aan efficiënter crawlen. Uit eigen data zou blijken dat meer dan de helft van het crawlverkeer van AI-bots wordt besteed aan pagina’s die niet zijn gewijzigd. Door AI-bedrijven signalen te geven over welke pagina’s daadwerkelijk nieuwe informatie bevatten, wil Cloudflare onnodige crawls verminderen. Dat bespaart bandbreedte bij uitgevers en rekenkracht bij AI-bedrijven.
Pay-to-crawl-model
Een andere stap is de verdere ontwikkeling van het eerder gelanceerde pay-to-crawl-model. Dat moet uitgroeien tot een pay-per-use-model, waarbij makers niet alleen betaald worden wanneer hun content wordt gecrawld, maar wanneer die daadwerkelijk waarde toevoegt aan AI-zoekresultaten of agentische toepassingen. Cloudflare werkt hiervoor samen met partners als Ceramic.ai en You.com.
Met de nieuwe maatregelen positioneert Cloudflare zich nadrukkelijk als infrastructuurspeler voor het AI-tijdperk. Het bedrijf wil niet alleen websites beschermen tegen ongewenst gebruik, maar ook bijdragen aan een nieuwe economie waarin AI-bedrijven, uitgevers en makers duidelijke afspraken kunnen maken over toegang, zichtbaarheid en vergoeding.