AI-crawlers blokkeren op serverniveau: wanneer het slim is en wanneer het je onzichtbaar maakt

AI-crawlers blokkeren wordt vaak gepresenteerd als één beslissing: je laat ze binnen of je houdt ze buiten. In de praktijk zijn het er twee, en wie ze door elkaar haalt betaalt een prijs die hij niet ziet aankomen. Uit onderzoek dat in juli 2026 werd gepubliceerd blijkt dat één op de vijf Nederlandse websites AI-zoekmachines blokkeert zonder dat te weten. Niet uit principe, maar door een firewallregel of een CDN-instelling die iemand ooit heeft aangezet.

Dit artikel legt uit welk onderscheid je moet maken, hoe je het op serverniveau afdwingt, en hoe je controleert of je niet per ongeluk jezelf hebt buitengesloten.

Er zijn drie soorten bots, niet één

De fout zit bijna altijd in het over één kam scheren. Wat er langskomt valt uiteen in drie groepen met heel verschillende gevolgen.

• Trainingscrawlers. GPTBot van OpenAI is hiervan het bekendste voorbeeld. Die haalt content op om modellen mee te trainen. Blokkeer je die, dan verandert er niets aan je vindbaarheid; je content wordt alleen niet als lesmateriaal gebruikt.
• Zoekcrawlers. OAI-SearchBot, ChatGPT-User en PerplexityBot halen content op om een antwoord mee samen te stellen op het moment dat iemand iets vraagt. Blokkeer je die, dan verdwijn je uit die antwoorden. Dit is de groep waar het misgaat.
• Scrapers. Partijen die zich aan geen enkele afspraak houden, je robots.txt negeren en in korte tijd je hele site binnenhalen. Die kosten je servercapaciteit en leveren niets op.

De cijfers laten zien hoe scheef dat loopt: GPTBot wordt bij ongeveer 16 procent van de sites geblokkeerd, ChatGPT-User bij 11 procent en OAI-SearchBot bij bijna 8 procent. Die laatste groep heeft zichzelf uit de zoekresultaten van ChatGPT geschreven, vrijwel altijd zonder het te willen.

Wanneer blokkeren wél verstandig is

Er zijn goede redenen om de trainingscrawlers te weren. Leef je van je content, bijvoorbeeld als uitgever, cursusaanbieder of kennisbank, dan is het redelijk om niet gratis trainingsmateriaal te leveren aan een model dat je vervolgens beconcurreert. Ook als je servercapaciteit krap is, kan het crawlvolume een echt probleem zijn.

Blokkeer dan gericht. Een Disallow voor GPTBot in je robots.txt laat OAI-SearchBot ongemoeid, en dat is precies de bedoeling: niet gebruikt worden om te trainen, wel gevonden worden om geciteerd te worden.

Het signaal van de Content-Signal-regel

Naast losse regels per bot kun je in je robots.txt een Content-Signal opnemen waarin je in één keer aangeeft wat er wel en niet mag. Op deze site staat bijvoorbeeld search=yes, ai-train=no, ai-input=yes: zoeken en antwoorden mag, trainen niet. Dat is duidelijker dan een lijst uitzonderingen en makkelijker te onderhouden.

Wanneer je jezelf in de voet schiet

Het patroon dat we in de praktijk het vaakst tegenkomen is niet een bewuste keuze maar een bijvangst. Een firewall of bot-filter ziet een crawler met een hoog volume, merkt hem aan als verdacht en zet hem buiten. Sommige hostingpartijen doen dat standaard, via een bad-bots-lijst in Fail2ban of een vergelijkbare filter. Ook CDN's vragen tegenwoordig expliciet of je AI-crawlers wilt toestaan, en wie die vraag ongelezen wegklikt staat dicht.

Het vervelende is dat je er niets van merkt. Je site werkt, je bezoekers komen binnen, je Google-posities blijven staan. Alleen in de antwoorden van ChatGPT, Claude en Perplexity kom je niet meer voor, en daar is geen melding van.

Controleren of je geblokkeerd wordt

Begin bij je robots.txt. Open jouwdomein.nl/robots.txt en zoek naar regels onder GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot of PerplexityBot. Staat daar een Disallow: /, dan heb je je antwoord.

Staat er niets, dan ben je er nog niet. Een firewall blokkeert vóórdat robots.txt in beeld komt, dus die moet je apart testen. Haal je pagina op met de user-agent van de bot in plaats van die van je browser:

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
  https://jouwdomein.nl/

Krijg je een 200 en een volledige pagina, dan kan de bot erbij. Krijg je een 403, een 429 of een lege respons, dan blokkeert er iets tussen de bot en je site. Herhaal het per bot, want ze worden lang niet altijd hetzelfde behandeld.

Op serverniveau afdwingen

Heb je besloten wat je wilt weren, dan is robots.txt alleen niet genoeg. Nette partijen houden zich eraan, scrapers niet. Voor die laatste groep heb je regels nodig in je webserverconfiguratie of .htaccess, waarmee je specifieke user agents of ip-ranges een 403 geeft.

Rate limiting en een firewall voor wat zich niet gedraagt

Tegen scrapers die hun user-agent maskeren helpt alleen gedrag meten. Met rate limiting beperk je het aantal requests per ip binnen een tijdvenster, en een web application firewall kan verdachte patronen automatisch afvangen. Dat sluit aan op de bredere serverbeveiliging die je toch al hoort te hebben.

Belangrijk daarbij: stel die regels zo in dat ze de zoekcrawlers met rust laten. Een generieke bad-bots-lijst is precies hoe sites per ongeluk uit de AI-antwoorden verdwijnen.

Test eerst, en kijk daarna in je logs

Rol nieuwe blokkades eerst uit op een testomgeving en houd na elke aanpassing je access log in de gaten. Zoek daarin naar 403-responses op user agents die je juist wél wilde toelaten. Dat is de snelste manier om een fout te vinden voordat hij weken meeloopt.

Waar wij staan

Bij PC Patrol zetten we de crawlers van AI-zoekmachines niet standaard buiten. Scrapers, kwetsbaarheidsscanners en aanvalsverkeer gaan er wel uit, en daar verandert niets aan. Wil je de trainingscrawlers alsnog weren, dan regelen we dat; dat is jouw keuze en niet de onze. Hoe dat bij ons werkt staat op de pagina over hosting die AI niet blokkeert.

Draait je site bij ons op managed webhosting of managed WordPress hosting, dan stellen we de regels op verzoek voor je in. Beheer je liever zelf, dan heb je op een Cloud VPS de volledige controle over je firewall, je rate limiting en je serverconfiguratie.

Samengevat

Blokkeren is geen aan-of-uitknop. Weer de scrapers, want die kosten alleen maar. Kies bewust of je trainingscrawlers wilt toelaten, want daar valt iets te verdedigen. En laat de zoekcrawlers erin, tenzij je een heel goede reden hebt om niet gevonden te willen worden. Controleer daarna of het ook werkelijk zo staat, want de kans dat er iets anders gebeurt dan je denkt is ongeveer één op vijf.