SEO-Kolumne:
robots.txt – kleine Datei mit großer Wirkung

Die robots.txt-Datei ist oft dafür verantwortlich, dass eine komplette Internetseite aus dem Google-Index verschwindet und im Ranking abrutscht. SEO-Kolumnist Timon Hartung zeigt euch, wie ihr diesen Worst Case vermeidet.

Text: Timon Hartung

14. Juli 2022

Timon Hartung schreibt für W&V die SEO-Kolumne.
Foto: W&V

Die robots.txt ist eine kleine Textdatei, die Anweisungen für Suchmaschinen bereithält. Diese Anweisungen bestimmen, in welche Verzeichnisse der Google Bot reinschauen darf und in welche nicht.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?

Der Google Bot ist ein kleines Programm, welches allen Links im Internet folgt und die Inhalte hinter den Links sammelt und diese Inhalte dann an die Google Suchmaschine weitergibt (an den Google Indexer). Mit der robots.txt können wir dieses kleine Google Bot-Programm aus bestimmten Verzeichnissen ausschließen, sodass es die Inhalte hinter den Links nicht lesen darf.

Paid content

Du willst weiterlesen?
Hol dir jetzt dein W&V Abo!

3 Monate für 19,90 € (0,22 € pro Tag)
Unbegrenzter Zugriff auf alle Inhalte
30 % Rabatt auf W&V Events

JETZT TESTEN

Du bist bereits W&V Abonnent:in?

Die Cookiekalypse hält die Branche in Atem. Besser, man hat eine gute First-Party-Data-Strategie. Wie man die entwickelt, lernst du im W&V Executive Briefing.

Kennst du eigentlich schon unser KI-Update? Einmal pro Woche die wichtigsten Veränderungen zu KI im Marketing. Einordnung, Strategie, News, direkt in dein Postfach.

Wie funktioniert eigentlich Tiktok? Einen schnellen und umfassenden Überblick gibt dir die aktuelle Ausgabe des W&V Executive Briefing zum Thema Tiktok.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?

Du willst weiterlesen? Hol dir jetzt dein W&V Abo!

Du bist bereits W&V Abonnent:in?

Aktuelle Artikel

Du willst weiterlesen?
Hol dir jetzt dein W&V Abo!