Robots txt bestand is een handleiding, die zorgt dat de omgangsregels van jouw website worden gecommuniceerd voor zoekmachines. Ook probeert hij bestanden op te halen om te bekijken of er richtlijnen zijn voor het crawlen van jouw website. Crawlen is het verkennen van een website door zoekmachinesoftware om de inhoud van sites te indexeren.
Het robots txt bestand is erg belangrijk vanuit zoekmachine optimalisatie ( SEO ) oogpunt. Het vertelt zoekmachines namelijk hoe ze jouw website het beste kunnen crawlen.
User- agent in robots.txt
Voorbeeld van hoe het robots.txt bestand voor een WordPress eruit kan zien:
User-agent: * Disallow: /wp-admin/
Elke zoekmachine hoort zich te identificeren met een zogenaamde user-agent. Google’s robots identificeren zichzelf bijvoorbeeld als googlebot, Yahoo’s robots als slurp en Bing’s robots als BingBot, etc.