Wissen · SEO

Was ist die robots.txt?

Auch genannt: robots.txt-Datei, Crawler-Regeln, GPTBot

Patrick Mayr, Webdesigner in SalzburgPatrick MayrAntwort in 24 h
Wo steht deine Website?

Ehrliche Einschätzung in 24 Stunden. Kostenlos.

Website-Analyse
Kurz erklärt

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen und anderen Programmen sagt, welche Bereiche sie nicht abrufen sollen. Sie regelt das Lesen, nicht das Erscheinen in der Suche.

So funktioniert es

Die Datei liegt immer unter deinbetrieb.at/robots.txt. Darin stehen Regeln je Programm, etwa „Googlebot darf alles” oder „GPTBot, der Crawler von OpenAI, darf nichts”. Seriöse Crawler halten sich daran, verpflichtet sind sie nicht.

Meist steht dort auch die Adresse der Sitemap.

Was das für deine Website heißt

Der häufigste Irrtum: Eine Seite, die in der robots.txt gesperrt ist, kann trotzdem bei Google erscheinen, wenn andere Seiten auf sie verlinken, dann eben ohne Beschreibung. Wer eine Seite aus der Suche heraushalten will, braucht noindex, und die Seite muss dafür lesbar bleiben.

Gefährlich ist eine Zeile wie „Disallow: /” aus der Bauphase, die nach dem Launch stehen bleibt. Sie sperrt die ganze Website.

Kostenlose Website-Analyse →