Leestijd: 1 minuuut

Robots txt bestand

is een handleiding, die zorgt dat de omgangsregels van jouw website worden gecommuniceerd voor zoekmachines. Ook probeert hij bestanden op te halen om te bekijken of er richtlijnen zijn voor het crawlen van jouw website. Crawlen is het verkennen van een website door zoekmachinesoftware om de inhoud van sites te indexeren.

Het robots txt bestand is erg belangrijk vanuit zoekmachine optimalisatie (SEO) oogpunt. Het vertelt zoekmachines namelijk hoe ze jouw website het beste kunnen crawlen.

User- agent in robots.txt

Voorbeeld van hoe het robots.txt bestand voor een WordPress eruit kan zien:

User-agent: * Disallow: /wp-admin/

Elke zoekmachine hoort zich te identificeren met een zogenaamde user-agent. Google’s robots identificeren zichzelf bijvoorbeeld als googlebot, Yahoo’s robots als slurp en Bing’s robots als BingBot, etc.

Social media

Bekijk ook eens onze social media kanalen!

Stel je vraag aan ons

Heb je een specifieke vraag, case of wil je meer weten over onze werkwijze? Dat kan. Wij helpen je graag verder. Gebruik onderstaande formulier!

Bij het indienen van dit formulier ga je automatisch akkoord met ons Privacybeleid.

Schrijf de nummer '7' volledig uit, bijvoorbeeld 'Twee'

Kom meer te weten:

Leestijd: 1 minuut

HTML titel

HTML titel / titel vastlegging Met het TITLE element wordt een titel voor het document vastgelegd. Deze titel wordt niet weergegeven in het documentvenster, maar in de titelbalk van het…
Leestijd: 1 minuut

Google Search Console

Google Search Console Google Search Console is een gratis service aangeboden door Google. Met Search Console kun je de aanwezigheid van je site in de zoekresultaten van Google controleren. Je…
Leestijd: 1 minuut

Meta beschrijving

Metabeschrijving Is een stukje tekst dat gelezen wordt door bezoekers. Doordat het veel gelezen wordt, zorgt het voor een hogere ranking wat er weer voor zorgt dat je website sneller…

Blijf op de hoogte van het laatste nieuws

En schrijf je in op onze nieuwsbrief! Ontvang tips en tricks voor online marketing.