Leestijd: 1 minuuut

Robots txt bestand

is een handleiding, die zorgt dat de omgangsregels van jouw website worden gecommuniceerd voor zoekmachines. Ook probeert hij bestanden op te halen om te bekijken of er richtlijnen zijn voor het crawlen van jouw website. Crawlen is het verkennen van een website door zoekmachinesoftware om de inhoud van sites te indexeren.

Het robots txt bestand is erg belangrijk vanuit zoekmachine optimalisatie (SEO) oogpunt. Het vertelt zoekmachines namelijk hoe ze jouw website het beste kunnen crawlen.

User- agent in robots.txt

Voorbeeld van hoe het robots.txt bestand voor een WordPress eruit kan zien:

User-agent: * Disallow: /wp-admin/

Elke zoekmachine hoort zich te identificeren met een zogenaamde user-agent. Google’s robots identificeren zichzelf bijvoorbeeld als googlebot, Yahoo’s robots als slurp en Bing’s robots als BingBot, etc.

Social media

Bekijk ook eens onze social media kanalen!

Stel je vraag aan ons

Heb je een specifieke vraag, case of wil je meer weten over onze werkwijze? Dat kan. Wij helpen je graag verder. Gebruik onderstaande formulier!

Bij het indienen van dit formulier ga je automatisch akkoord met ons Privacybeleid.

Hoeveel dagen zitten er in een week?

Kom meer te weten:

Leestijd: 1 minuut

Conversie

Conversie / omzetting Betekent in de wereld van internet marketing, het maken van klanten uit website bezoekers. Een conversie is het moment waarop een bezoeker van de website overgaat tot…
Leestijd: 1 minuut

Zoekmachine optimalisatie (SEO)

Zoekmachine optimalisatie / research Zoekmachine optimalisatie ofwel search engine optimization (SEO). Het houdt in dat je onderzoek/research doet om jouw website te optimaliseren. Door de optimalisatie van je website, wordt…
Leestijd: 1 minuut

CMS (Content Management Systeem)

CMS is een softwaretoepassing waarin je zo eenvoudig mogelijk zelf de inhoud van de website kan beheren, zonder dat er programmeerkennis nodig is. Een CMS is bedoeld om het bijhouden…

Blijf op de hoogte van het laatste nieuws

En schrijf je in op onze nieuwsbrief! Ontvang tips en tricks voor online marketing.