Yahoo geen robots.txt?

Yahoo blijkt zelf geen robots.txt te hebben. Met robots.txt kun je zoekmachine spiders toegang verlenen of de toegang blokkeren. Zo heeft Google een robots.txt waarmee er verschillende directories worden afgeschermd.