In het afgeschermde deel van de Webmaster Tools van Google is een nieuwe tool toegevoegd waarmee website eigenaren snel en gemakkelijk een door Google goedgekeurde Robots.txt kunnen aanmaken.
Achja, dit zijn zo van die scriptjes die her en der op internet te vinden zijn. Zo opwekkend is het dus niet. Maar als we beseffen dat het merendeel van de websites geen robots.txt hebben, dan is het aanbieden van een laagdrempelige tool wel zo handig.
Voor degenen die het niet weten, een robots.txt bestand is een tekstbestandje dat je op je webserver plaatst waarin je zoekmachines verteld wat ze mogen indexeren en vooral ook wat niet. Zo kun je specifieke zoekmachines bijvoorbeeld de toegang ontzeggen tot je directory waar je plaatjes hebt staan.
