Trainingscrawlers
ClaudeBot, GPTBot, CCBot, Bytespider, Google-Extended
Ze halen zoveel mogelijk pagina's op om een taalmodel mee te trainen. Ze sturen geen bezoekers terug. Jij bepaalt in robots.txt of ze welkom zijn, en op welke delen van de site. Personengegevens en eindeloze paginering wil je hier meestal buiten houden.