Het is vandaag precies 20 jaar geleden dat een klein en belangrijk bestandje in het leven werd geroepen. Zo was het de Nederlandse zoekpionier Martijn Koster die de ‚s werelds allereerste zoekmachine ALIWEB bij Brits bedrijf Nexor ontwikkelde en bedacht robots.txt als reactie op een per ongeluk opgeroepen DDos-aanval door een fout in het ontwerpen van een zoekspider. Robots.txt geeft de crawlende zoekmachines instructies wat er wel en niet geïndexeerd mag worden.
Robots.txt werd al snel een standaard
De robots.txt werd in februari 1994 voor het eerste voorgesteld en later op 30 juni van dat jaar was de Standard for Robots Exclusion een feit. Op dat moment was er nog niets dat leek op robots.txt en zoekmachine begonnen toen massaal deze nieuwe standaard te gebruiken.
De robots.txt heeft als nadeel dat gebruikers van zoekmachines niet altijd de meest relevante informatie kunne geven naar aanleiding van een zoekopdracht. Het is daarom belangrijk dat je de robots.txt goed instelt om toch relevante pagina’s te kunnen weergeven, ook al wordt de inhoud geblokkeerd voor de spider.
Robots.txt heeft als nadeel dat zoekmachines gebruikers niet altijd de relevantste informatie kunnen geven naar aanleiding van een zoekopdracht. SEO-expert Brian Ussery beschrijft op zijn blog hoe bijvoorbeeld Google dit probleem tackelt om toch relevante pagina’s te kunnen weergeven, ook al wordt de inhoud zelf geblokkeerd voor de spider.
Robots.txt bestaat 20 jaar
Geen opmerkingen:
Een reactie posten