Robots.txt

Wat is een robots.txt bestand

Robots.txt is een kleine tekstbestand die zoekmachine robots helpt met het crawlen ( opsporen) van webpagina’s.
In dit bestand wordt er aangegeven welke pagina’s gecrawld (gezocht) mogen worden en welke bestanden overgeslagen dienen te worden.
Het bestand wordt geplaatst in de root directory van de website (bijvoorbeeld; domeinnaaam.extensie/robots.txt).

Functies

In een robots.txt bestand, kunt u de volgende functies gebruiken:

– User-agent:* Geeft aan dat de robots alle pagina’s van uw website mogen crawlen.
– Allow : Geeft de mogelijkheid om aan te geven welke specifieke pagina’s en bestanden gecrawld mogen worden.
– Disallow: Geeft de mogelijkheid om aan te geven welke specifieke pagina’s en bestanden NIET gecrawld moeten worden.
– Sitemap: Geeft aan waar de sitemap van de website staat.
#: Geeft de mogelijkheid om tekst toe te voegen in het robots.txt bestand.

Wij helpen u graag met het aanmaken en juist instellen van een robots.txt

Neemt u nu contact op en wij helpen u zo spoedig mogelijk.