Tot nu toe was de bot of spider software die Google gebruikte voor het indexeren van websites gebaseerd op de Lynx Browser. (zie Wikipedia als je niet weet wat Lynx is, en nee het is niet perse een dier….). Anyway, Lynx is een tekstbrowser, en dus de enige manier om tegen Google te zeggen dat iets belangrijk is, is door dit met een enorme virtuele wijsvinger aan te wijzen. Een vrij primitieve manier dus.
Dat vond Google dus ook. Echter, het versimpelen van internetpagina’s maakt het indexeren wel zo overzichtelijk. Vormgeving is extra informatie, en zegt daarbij vaak meer over belangrijke informatie dan alleen de tekst. Deze nieuwe bot, Googlebot 2.0 is gebaseerd op de Mozilla browser. De bot maakt nu gebruik van informatie verscholen in CSS en Javascript. De geruchten waarom Google op deze wijze websites indexeert is zijn niet van de lucht. De een zegt dat het een stap van Google is om zoekmachine spam nog beter te lijf te gaan. Anderen zeggen dat Google werkt aan een eigen vorm van thumbnail impressies van websites om deze op een later tijdstip toe te voegen aan de index.
Voor nu kun je in de logfiles zien of je bezocht bent door de nieuwe bot door te zoeken op de notatie Mozilla, Googlebot. Happy hunting…
