Wat is robots.txt en wat kun je er mee?
Het robots.txt-bestand is een tekstbestand dat deel uitmaakt van de WordPress website en dat webmasters kunnen gebruiken om de toegang van robots zoals zoekmachine-crawlers te beheren tot bepaalde delen van de website. Het bestand geeft aan welke delen van de website wel of niet gecrawled of geïndexeerd mogen worden door deze bots.
Waarom robots.txt gebruiken?
Het gebruik van een robots.txt-bestand is vooral belangrijk voor het beheren van de crawlcapaciteit. Dit kan nuttig zijn voor websites met een groot aantal pagina’s, websites die veel serverbronnen verbruiken, of voor het blokkeren van delen van de website die gevoelige informatie bevatten of niet waardevol zijn voor zoekmachines.
Het is overigens geen garantie dat als je een robots.txt bestand gebruikt dat Google deze regels ook zal aanhouden. Zie het als een verzoek aan Google wat vaak ingewilligd wordt.
Waar plaats je robots.txt?
Een robots.txt-bestand plaats je in de hoofddirectory van de server; hierdoor is het een van de eerste dingen die een crawler ziet wanneer deze je site bezoekt. Het formaat van het bestand is vrij eenvoudig. Je specificeert de user-agent van de crawler en de directories of bestanden die je wilt blokkeren of toestaan. Bijvoorbeeld:
User-agent: *
Disallow: /privatedir/
Allow: /publicdir/
Blokkeren met robots.txt
Het is belangrijk om voorzichtig te zijn bij het configureren van je robots.txt, omdat fouten kunnen leiden tot het onbedoeld blokkeren van belangrijke pagina’s van je site in zoekmachines. Daarnaast respecteren niet alle crawlers de richtlijnen van een robots.txt-bestand, met name malware-bots die op zoek zijn naar beveiligingslekken.
Om de effectiviteit van je robots.txt-bestand te testen, bieden veel zoekmachines, zoals Google via Google Search Console, tools waarmee je kunt zien hoe de zoekmachine je robots.txt-bestand interpreteert en welke pagina’s zijn geblokkeerd.