Wie Matt Cutts in seinem Blog schreibt, hat das Team von Google-Sitemaps ein neues Tool veröffentlicht. Dieses ermöglicht die Analyse der robots.txt.
Die Datei robots.txt enthält quasi Anweisungen für die Roboter der Suchmaschinen, welche Verzeichnisse und Dateien dürfen indexiert werden etcpp.
Eine falsche oder gar ungültige robots.txt kann durchaus gravierende Auswirkungen haben.
Interessant an dem Tool ist daher, dass Webmaster die Möglichkeit haben ihre robots.txt gefahrlos zu testen.
Matt Cutts ist Mitarbeiter bei Google und schreibt dankenswerterweise in den Comments zu seinen Artikel und beantwortet Nachfragen - bis dahin, dass er Informationen zu Google-Teams weitergibt.
Weitere Informationen finden Sie unter:
http://www.mattcutts.com/blog/new-robotstxt-tool/
Informationen zum Artikel