Een deel van je bezoekers is ChatGPT of Claude, die namens iemand een pagina ophaalt, de tekst leest en een antwoord geeft. Die bezoeker ziet geen opmaak, klikt niets weg en typt URL's zoals een mens ze uitspreekt. Deze pagina beschrijft wat zulke agents op een site doen, aan de hand van één dag serverlog van een grote Nederlandse bedrijvengids, en wat je doet om je site voor ze leesbaar te maken zonder de zeggenschap te verliezen.
De naam in de user-agent vertelt wat een bot komt doen. Zet ze op één hoop en je blokkeert de verkeerde, of je laat alles toe en betaalt de serverkosten van een trainingsrun.
ClaudeBot, GPTBot, CCBot, Bytespider, Google-Extended
Ze halen zoveel mogelijk pagina's op om een taalmodel mee te trainen. Ze sturen geen bezoekers terug. Jij bepaalt in robots.txt of ze welkom zijn, en op welke delen van de site. Personengegevens en eindeloze paginering wil je hier meestal buiten houden.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, ExaSearchBot
Ze bouwen een index waaruit ChatGPT Search, Perplexity en agent-tools hun antwoorden halen, met een link naar de bron. Een vermelding in zo'n antwoord werkt als een zoekresultaat, met een link naar jouw site.
ChatGPT-User, Claude-User, DuckAssistBot
Iemand stelt een vraag in ChatGPT of Claude en de assistent haalt jouw pagina op dat moment op, leest de tekst en geeft antwoord. Deze bezoeker ziet geen opmaak, geen pop-up en geen cookiebanner. Alleen wat er in de HTML staat.
claude-code en andere coding agents
Een ontwikkelaar laat een agent een lijst samenstellen of een koppeling testen. In de log van 5 oktober deed één zo'n agent 514 verzoeken vanaf een Nederlands IP-adres. Dit is de bulkvraag waar een API of een datafeed het antwoord op is.
Op maandag 5 oktober 2026 analyseerde Peter Davelaar de HAProxy-log van een grote Nederlandse bedrijvengids, van 03:12 tot 14:52. In die 11 uur en 40 minuten kwamen 1.592.769 verzoeken binnen. Een klein deel daarvan kwam van agents die namens een gebruiker werkten, en dat deel liet goed zien waar het schuurt.
Eén coding agent haalde om 04:13 in één minuut de barbershops van vier plaatsen op, daarna nagelstudio's, snackbars, bakkerijen en klusbedrijven, en vervolgens elke detailpagina. Een Claude-sessie bouwde een lijst van kabel- en leidingbedrijven door zelf zoek-URL's te raden. Een ChatGPT-gebruiker bladerde door een lijst tot pagina 89.
Van alle verzoeken van deze agents eindigde 27% in een redirect, omdat ze URL's met hoofdletters en spaties typten die de site in vier losse 301's omzette. Geen van de agents raakte de snelheidslimiet, dus een verwijzing die alleen in de foutmelding staat, zagen ze nooit. De trainingscrawler ClaudeBot haalde diezelfde dag 84.983 pagina's op en de AI-zoekindex ExaSearchBot 49.756.
Agents namens een gebruiker, 11,7 uur, één load balancer
| Agent | Verzoeken | IP's |
|---|---|---|
| Claude-User (Claude.ai) | 2.219 | 1 |
| ChatGPT-User | 1.466 | 367 |
| claude-code | ongeveer 760 | 42 |
| DuckAssistBot | 217 |
Bron: HAProxy-log van 5 oktober 2026, ingedeeld op user-agent. Verzoeken van claude-code zijn afgerond. Eén maandag op één load balancer; andere dagen kunnen afwijken.
De eerste drie zijn het minste werk en lossen het grootste deel van de verspilling uit de log op. De rest is het werk dat je voor Google waarschijnlijk al deed, met één verschil: een agent leest de HTML en verder niets.
Zet in robots.txt aparte groepen voor zoekmachines, trainingscrawlers, AI-zoekindexen en agents namens een gebruiker. Een zoekmachine krijgt alles, een trainingscrawler geen personenpagina's en geen paginering, een AI-zoekindex dezelfde regels als Google.
Een tekstbestand op /llms.txt met in gewone taal wat de site is, de belangrijkste pagina's met URL en een regel per artikel. Op de site uit de log gaf /llms.txt een 404. Hier staat hij live en ververst hij elke tien minuten uit de database.
Een agent typt een URL zoals een mens hem zou zeggen, met hoofdletters en spaties. Kleine letters, koppeltekens en de slash aan het eind horen in één 301 te zitten. In de log kostte dat vier hops, en 27% van alle agentverzoeken eindigde in een redirect.
Agents namens een gebruiker voeren meestal geen JavaScript uit. Wat pas na het laden van een script op de pagina komt, bestaat voor hen niet. Zet de kern van elke pagina in de HTML die de server stuurt, met koppen en lijsten die de volgorde van de tekst volgen.
JSON-LD voor organisatie, persoon, artikel en FAQ, met een vast @id per entiteit zodat elke pagina naar dezelfde organisatie verwijst. De FAQ in het schema is dezelfde als de FAQ op de pagina, anders is het cloaking.
Een lastModified die bij elke request op vandaag staat, is waardeloos. Gebruik de datum van de laatste inhoudelijke wijziging in de sitemap, in het schema en zichtbaar op de pagina, en laat elke URL één canonical hebben.
Wie honderd kappers in een regio wil, krijgt dat via een API of een export sneller dan via honderd pagina's. Zet die verwijzing in de paginatekst, voor iedereen. Een agent leest hem en geeft hem door aan zijn gebruiker. Alleen aan bots tonen is cloaking.
Eén dag serverlog, ingedeeld op user-agent en IP-bereik, laat zien welke agents er zijn en wat ze doen. Laat een snelheidslimiet alleen pagina's tellen en geen afbeeldingen, anders blokkeer je bedrijfsnetwerken waar echte mensen achter zitten.
nextdayonline.nl is een AI playground, dus de stappen hierboven staan hier zelf live. De bestanden zijn openbaar; open ze en vergelijk ze met die van je eigen site. Hoe we AI agents in productie draaien, staat op Work.
De vragen die opkomen zodra iemand voor het eerst zijn serverlog op user-agent sorteert.
Staat je vraag er niet tussen?
Neem contact met ons opStuur een bericht met wat voor site je hebt. Binnen een werkdag hoor je van Peter wat een analyse van je log en de inrichting van robots.txt en llms.txt voor jouw site inhoudt.
Stuur een bericht