Wat is een robots.txt bestand

Robots.txt is een kleine tekstbestand die zoekmachine robots helpt met het crawlen ( opsporen) van webpagina’s.
In dit bestand wordt er aangegeven welke pagina’s gecrawld (gezocht) mogen worden en welke bestanden overgeslagen dienen te worden. Het bestand wordt geplaatst in de root directory van de website (bijvoorbeeld; domeinnaaam.extensie/robots.txt).

Functies

In een robots.txt bestand, kunt u de volgende functies gebruiken:

– User-agent:* Geeft aan dat de robots alle pagina’s van uw website mogen crawlen.
– Allow : Geeft de mogelijkheid om aan te geven welke specifieke pagina’s en bestanden gecrawld mogen worden.
– Disallow: Geeft de mogelijkheid om aan te geven welke specifieke pagina’s en bestanden NIET gecrawld moeten worden.
– Sitemap: Geeft aan waar de sitemap van de website staat.
#: Geeft de mogelijkheid om tekst toe te voegen in het robots.txt bestand.

Hulp nodig?

Hulp nodig met het juist instellen van robots.txt bestand? Wij helpen u graag verder!
Klik hier om een offerte aan te vragen.