Het internet staat aan het begin van een nieuw hoofdstuk in de strijd om controle over online content. Cloudflare, de infrastructuurgigant achter miljoenen websites wereldwijd, heeft aangekondigd dat het vanaf vandaag standaard AI-crawlers zal blokkeren op al haar nieuwe domeinen — tenzij uitgevers expliciet toestemming geven of de AI-bedrijven ervoor betalen.
AI-crawlers
De stap, door Cloudflare CEO Matthew Prince uitgeroepen tot “Content Independence Day”, wordt gezien als een krachtige reactie op jarenlange frustratie over het gratis gebruik van content door AI-bedrijven zonder toestemming of vergoeding. Meer dan een miljoen websites hadden al handmatig geblokkeerd, maar met deze zet maakt Cloudflare het tot het nieuwe normaal.
Onder de aanhangers van deze beweging bevinden zich zwaargewichten als Associated Press, Time, The Atlantic, BuzzFeed, Reddit, Quora en Universal Music Group. Ook op sociale media klinkt brede steun: van investeerders tot SEO-specialisten, velen noemen het een noodzakelijke correctie op het machtsmisbruik van AI-platformen.
Content optimaliseren
Prince wijst erop dat uitgevers jarenlang hun content moesten optimaliseren voor zoekmachines als Google, zonder daar noemenswaardig verkeer voor terug te krijgen. “Voor elke achttien pagina’s die Google van je neemt, krijg je één bezoeker terug,” stelt hij. “Bij AI-bedrijven zijn die verhoudingen nóg schrijnender: OpenAI zat zes maanden geleden op 250:1, nu op 1.500:1. En Anthropic zelfs op 60.000:1.”
Betaalmuur voor bots
Cloudflare introduceert nu een nieuw model: ‘pay-per-crawl’. Uitgevers kunnen AI-bots gratis toegang geven, hen blokkeren of een vergoeding per crawl vragen. Hiervoor wordt de zelden gebruikte HTTP 402-code (“payment required”) opnieuw tot leven gewekt als digitale tolpoort. In eerste instantie is dit systeem beschikbaar voor een selecte groep contentaanbieders, maar Cloudflare wil het snel breder uitrollen. Het initiatief komt op een moment waarop steeds meer mediabedrijven en platforms zich keren tegen het ongelimiteerde gebruik van hun content door AI-modellen. Volgens onderzoek van Originality.AI en het Reuters Institute blokkeert inmiddels al 48 procent van de grootste websites wereldwijd AI-crawlers.
Controle
“Als we willen dat het internet overleeft in het AI-tijdperk, moeten we de controle teruggeven aan de makers”, aldus Prince. “Zonder eerlijke beloning verdwijnt de prikkel om content te maken. En zonder content sterft het internet.”