# robots.txt — Van Zanten Consulting
# https://www.vanzantenconsulting.com
#
# Crawlers zijn hieronder gegroepeerd op wat ze doen, niet op merk. Dat
# onderscheid is niet cosmetisch: een bot die pagina's ophaalt om ze te kunnen
# citeren doet iets anders dan een bot die materiaal verzamelt waarop een model
# getraind kan worden. Wie die twee op één hoop gooit, maakt de keuze niet.

# ── Alles is toegankelijk ───────────────────────────────────────────────────
# Het klantportaal staat bewust NIET op Disallow. Elke pagina onder /portal/
# draagt zelf <meta name="robots" content="noindex">, en een crawler die de
# pagina niet mag ophalen kan die regel ook niet lezen. Blokkeren zou de URL's
# dus juist indexeerbaar houden, zonder inhoud. De pagina's achter de login
# zijn sowieso onbereikbaar zonder account.
User-agent: *
Allow: /

# ── Zoeken en citeren ───────────────────────────────────────────────────────
# Deze bots halen pagina's op om ze in zoekresultaten of AI-antwoorden te
# kunnen tonen, met bronvermelding. Toestaan is de hele bedoeling.
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

# ── Trainingsdata ───────────────────────────────────────────────────────────
# Deze regels gaan niet over zoeken maar over materiaal voor modeltraining en
# AI-functies van de platformen zelf. Toestaan is hier een keuze, geen
# vanzelfsprekendheid: we publiceren openbaar werk en vinden het prima dat het
# meegaat. Wil je dat niet meer, zet dan Allow om naar Disallow — dat raakt de
# groep hierboven niet, dus je blijft vindbaar in zoekresultaten.
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

# ── Standaard ───────────────────────────────────────────────────────────────
# De sitemap wordt bij elke build uit de routes zelf afgeleid (app/sitemap.ts),
# dus hij kan niet achterlopen op de site.
Sitemap: https://www.vanzantenconsulting.com/sitemap.xml