Als je wilt dat openbare content van je website in ChatGPT Search kan worden ontdekt, samengevat en geciteerd, kom je al snel de naam OAI-SearchBot tegen.
OpenAI noemt deze crawler expliciet in zijn documentatie voor uitgevers en ontwikkelaars. Toch wordt hij regelmatig verward met GPTBot. Dat verschil is belangrijk.
OAI-SearchBot en GPTBot zijn niet hetzelfde
OpenAI beschrijft verschillende user-agents voor verschillende doeleinden.
OAI-SearchBot heeft betrekking op search discovery. Toegang kan helpen om openbare content te laten ontdekken en weergeven in ChatGPT Search.
GPTBot heeft betrekking op potentiële modeltraining.
Een organisatie kan daarom bijvoorbeeld besluiten dat content wel voor search discovery beschikbaar mag zijn, maar niet voor training. De technische keuzes hoeven dus niet hetzelfde te zijn.
Wat gebeurt er als OAI-SearchBot geblokkeerd wordt?
OpenAI adviseert uitgevers die willen dat content in samenvattingen en snippets kan worden opgenomen om OAI-SearchBot niet te blokkeren.
Een blokkade kan in robots.txt staan, bijvoorbeeld als specifieke regel voor de bot of via een algemene regel voor alle crawlers.
Maar robots.txt is niet de enige plek om te controleren.
Controleer ook CDN, firewall en WAF
Veel moderne websites gebruiken een beveiligingslaag zoals Cloudflare of een andere CDN/WAF-oplossing. Die laag kan bots blokkeren op basis van:
- user-agent;
- IP-range;
- bot score;
- geografische regel;
- rate limiting;
- challenge-pagina's.
Daardoor kan je robots.txt theoretisch toegang toestaan terwijl de crawler in de praktijk alsnog wordt geweigerd.
Een professionele controle bestaat daarom uit meer dan alleen het openen van /robots.txt.
Een robots.txt voorbeeld
Een simpele configuratie kan er zo uitzien:
User-agent: OAI-SearchBot
Allow: /Dat is alleen een illustratie. Gebruik niet blind een robots-configuratie zonder te controleren welke delen van je website publiek mogen en moeten zijn.
Moet je altijd alles openzetten?
Nee.
Een website kan openbare marketingpagina's toegankelijk maken en tegelijkertijd bepaalde omgevingen blokkeren, zoals:
- klantportalen;
- interne zoekresultaten;
- testomgevingen;
- private bestanden;
- adminpaden;
- persoonsgegevens.
Dat is normale technische hygiëne.
Het doel is niet “iedere bot overal toelaten”. Het doel is bewust bepalen welke openbare content vindbaar mag zijn.
Wat als een pagina niet gecrawld mag worden?
OpenAI legt uit dat een URL in sommige gevallen alsnog als link en paginatitel kan worden getoond wanneer die URL via een andere bron bekend is en relevant lijkt. Wie een pagina echt uit zoekweergave wil houden, moet daarom niet alleen naar crawlerregels kijken maar ook naar passende indexeringssignalen zoals noindex, waarbij de crawler die meta-tag wel moet kunnen lezen.
Dat onderstreept een belangrijk SEO-principe: crawling en indexing zijn verschillende dingen.
Hoe controleert Fasoma dit?
Binnen een SEO & AI Search setup kijken we onder andere naar:
- robots.txt;
- OAI-SearchBot-regels;
- algemene crawlerregels;
- CDN/WAF-beleid;
- indexeringssignalen;
- belangrijke openbare pagina's;
- analytics voor ChatGPT-referrals.
We documenteren wat we aanpassen en waarom.
Toestaan is geen garantie op een vermelding
Dit is misschien het belangrijkste punt.
OAI-SearchBot toelaten betekent niet dat ChatGPT je bedrijf automatisch gaat noemen. Het betekent dat je een technische blokkade wegneemt voor discovery van toegestane content.
Daarna blijven kwaliteit, relevantie, volledigheid, autoriteit en de specifieke gebruikersvraag bepalend.
De conclusie
Wil je vindbaar kunnen zijn in ChatGPT Search, dan hoort OAI-SearchBot op je technische checklist. Maar behandel het als één onderdeel van een bredere SEO & AI Search-strategie.
Lees hoe Fasoma AI Search volledig inricht of doe de SEO & AI quickscan.
Bron
- OpenAI, Publishers and Developers FAQ: help.openai.com/en/articles/12627856
Structured data: Article + BreadcrumbList.
