Deine robots.txt-Datei ist ein mächtiges Werkzeug, mit dem du Suchmaschinen Anweisungen gibst, welche Teile deiner Website sie durchsuchen dürfen. Doch wenn du bei der Konfiguration nicht aufpasst, schleicht sich schnell der Fehlerteufel ein. Hier sind die häufigsten Stolpersteine und wie du sie umgehst.

Fehler, die du unbedingt vermeiden solltest

• Falsche Schreibweise des Dateinamens: Nur die Bezeichnung „robots.txt“ ist korrekt – alles andere mit Großbuchstaben oder abweichender Endung wird von Suchmaschinen ignoriert.
• Schlechte Formatierungen: Achte auf exakte Syntax. Die korrekte Form für die „Disallow“-Anweisung sieht so aus:

User-agent: Googlebot
Disallow: /

• Eine „Disallow“-Zeile für alles: Zerlege zu blockierende Verzeichnisse in separate Anweisungen:

Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

• Leere Zeile unter „User-agent“: Achte darauf, dass nach „User-agent:“ direkt die nächste Anweisung folgt.
• Großbuchstaben in Dateinamen: Schlechter Stil! Halte Dateinamen konsequent in Kleinbuchstaben.
• Spiegel-Websites und URL in der „Host“-Direktive: Gib explizit an, welche Website die Hauptseite ist und welche die Spiegelung, um Suchmaschinen korrekt zu leiten. Richtig formatiert sieht das so aus:

User-agent: Googlebot
Disallow: /cgi-bin
Host: www.site.com

• Alle Dateien im Verzeichnis auflisten: Das ist unnötig und fehleranfällig. Blockiere einfach das gesamte Verzeichnis:

User-agent: *
Disallow: /AL/

• Fehlende „Disallow“-Anweisungen: Nur so zeigst du Suchmaschinen, welche Bereiche sie nicht betreten sollen.
• 404-Fehler auf robots.txt: Selbst wenn du keine aktive robots.txt einsetzt, können Suchmaschinen danach fragen. Erstelle mindestens eine leere Datei, um Suchmaschinen nicht mit einem „404 Not Found“-Fehler zu enttäuschen.
• *Zusätzliche Direktiven im -Abschnitt: Zusätzliche Anweisungen wie „host“ gehören in eigene Abschnitte.
• Falscher HTTP-Header: Achte darauf, den Content-Type korrekt auf „text/plain“ zu setzen.

Fazit

Die robots.txt-Datei ist ein nützliches SEO-Werkzeug, doch sie kann auch schnell zur Stolperfalle werden. Mit etwas Sorgfalt und Beachtung dieser typischen Fehler stellst du sicher, dass Suchmaschinen deine Website genau so erfassen, wie du es dir vorstellst.