SEO und die Robots.TXT - worauf achten?

SEO und die Robots.TXT - worauf achten?

Hobby-Seitenbetreibern wird das nicht viel sagen, aber die Robots.TXT ist ein File im Root-Verzeichnis einer Webseite. Dort können Sie Informationen hinterlegen, welche von Suchmaschinen beachtet werden müssen. Man kann damit einzelne Such-Roboter aussperren. Allerdings müssen Sie gut aufpassen, denn hin und wieder gib es Konstellationen, die zu Problemen führen könnten.

Wie werden die Regeln in der Robots.TXT-Datei angewendet?

Viele SEO-Tool-Betreiber wie MOZ, Semrush, Xovi und Ahrefs usw. betreiben eigene Suchmaschinen. Da ist Google nicht allein. Diese Roboter kommen auf eine Webseite und schauen dort zuerst in die Robots-Datei. Sie prüfen, ob sie die Seite durchsuchen dürfen. Denn es ist tatsächlich möglich einzelne Anbieter auszuschließen. Ein Beispiel:

User-agent: SEOkicks-Robot
Disallow: /

Mit diesem Befehl würden Sie den Crawler von SEOkicks ausschließen, alle anderen dürften Ihre Seite durchwühlen. Es ist auch möglich einzelne Verzeichnisse zu sperren.

Googles Senior Webmaster Trends Analyst aus Zürich, Johannes Müller, gab nun bekannt, dass in der Robots.TXT Datei nicht die Reihenfolge der Befehle ausschlaggebend ist. Stattdessen ist es so, dass die spezifische Regel die allgemeine überschreibt.

Bei einfachen Seiten ist das File eher simpel aufgebaut. Es gibt jedoch Konstellationen, wo Webmaster dutzende von Regeln für unterschiedliche Suchmaschinen hinterlegen. Sie schließen Pfade aus, sie schließen verschiedene URL´s aus. Irgendwann ist der Überblick darüber verloren, welche Anweisung für den Robot mit einer anderen in Konflikt steht. Die Folge kann sein, dass wichtige Unterseiten oder Blogbeiträge aus der Indexierung fallen. Für das SEO natürlich eine Katastrophe.

Wer sich seiner nicht sicher ist, der kann zu diesem Zweck in die Search Console gehen und den Robots.TXT-Tester ausprobieren. Dieser kann dann genau aufzeigen, ob es bestimmte URL´s gibt, die aus Versehen auf die Sperrliste gerutscht sind.

Auf eine direkte Nutzeranfrage gab Müller das Beispiel:

Allow: /*/*/blob/master
Disallow: /*/*/blob/*.

Die untere Zeile sperrt den kompletten Ordner "blob". Die obere jedoch öffnet den Ordner "blog/master" für den Crawler. Daher interpretiert das der Robot so, dass er in den Unterordner "blob/master" gehen darf, während alle anderen für ihn gesperrt sind. Wie Sie die Reihenfolge dieser zwei Befehle erstellen, spielt dafür keine Rolle.

Darkweb und Deepweb

Übrigens ist die robots.txt der Grund dafür, warum es so etwas wie das Deepweb und das Darkweb geben kann. Wenn Suchmaschinen von einer Seite ausgesperrt werden, dann können sie die Inhalte nicht auswerten. So verhindern die Besitzer, dass die geheimen Inhalte an die Öffentlichkeit gelangen. Deswegen ist es auch so schwer im Deepweb etwas zu finden. Die User müssten theoretisch die URL einer Seite kennen, um sie zu erreichen. Möglich ist das nur, wenn sie einen Tipp bekommen oder wenn sich jemand die Mühe macht und Listen bzw. Kataloge mit solchen Seiten ins Netz stellt.

Posted on