Als je de melding “Geblokkeerd door robots.txt” ziet in Google Search Console, betekent dit dat Google niet in staat is om bepaalde pagina’s op jouw website te crawlen en te indexeren vanwege de regels in het robots.txt-bestand.
Een robots.txt-bestand is een tekstbestand dat op de hoofdmap van jouw website wordt geplaatst om instructies te geven aan zoekmachines over welke pagina’s wel en niet gecrawld mogen worden. Als er bepaalde pagina’s op jouw website zijn die je niet wilt laten indexeren, dan kun je deze pagina’s uitsluiten van de crawlers van zoekmachines door middel van het robots.txt-bestand.
Geblokkeerd door robots.txt
Als je de “Geblokkeerd door robots.txt” foutmelding in Google Search Console ziet, betekent dit dat Googlebot niet in staat is om de pagina te crawlen en te indexeren omdat de pagina in kwestie wordt uitgesloten door jouw robots.txt-bestand. Dit kan problemen veroorzaken als je wilt dat de pagina wel in de zoekresultaten verschijnt.
Om dit probleem op te lossen, moet je het robots.txt-bestand controleren en ervoor zorgen dat de pagina’s die je wilt laten indexeren, niet worden uitgesloten door het bestand. Als je bepaalde pagina’s op jouw website wilt uitsluiten van indexering, moet je ervoor zorgen dat deze pagina’s duidelijk zijn aangegeven in het robots.txt-bestand en dat je geen pagina’s blokkeert die wel in de zoekresultaten moeten verschijnen.
Deze blokkade kun je ook maken op de pagina zelf met een SEO plugin als RankMath of Yoast.