Big Cheese ondersteunt nu GEO-ready robots.txt-configuraties, waarmee websites op het platform expliciet kunnen bepalen hoe AI- en Large Language Model (LLM)-crawlers toegang krijgen tot de website. Uiteraard kan je zelf je robots.txt managen via de module in Big Cheese.
- Details
- Waarom dit belangrijk is
- Verwacht effect
Details
- Ondersteuning toegevoegd voor specifieke AI- en LLM user-agents in robots.txt, waaronder:
- GPTBot / ChatGPT-User
- Google-Extended
- Claude (Web & Bot)
- PerplexityBot
- CCBot
- Verbeterde controle over het uitsluiten van technische en niet-inhoudelijke URL’s, zoals carts, accounts, uploads en query-parameters.
- Volledig compatibel met bestaande SEO- en sitemap-instellingen binnen het platform.
- Direct doorgevoerd voor alle lopende projecten op Big Cheese.
Waarom dit belangrijk is
Zoek- en vindgedrag verschuift steeds meer richting AI-gegenereerde antwoorden.
Met deze update zorgt Big Cheese ervoor dat websites:
- correct toegankelijk zijn voor AI-systemen die antwoorden en samenvattingen genereren;
- geen irrelevante of technische pagina’s aanbieden als AI-context;
- voorbereid zijn op Generative Engine Optimization (GEO) zonder maatwerk.
Verwacht effect
- Betere zichtbaarheid in AI-gedreven zoek- en antwoordsystemen
- Consistentere en schonere broninformatie voor AI-modellen
- Toekomstbestendige crawl- en indexatiestrategie
Volgende stap is een eigen llms.txt die gebruikers zelf kunnen beheren. Houd de release notes daarover in de gaten.
