robots.txt

Was ist die robots.txt?

Mit der robots.txt steuern Webseitenbetreiber das Verhalten der Suchmaschinen-Bots auf ihren Seiten. Die Textdatei ist eine Art Handlungsanweisung für die Crawler von Google, Bing & Co. und beeinflusst, welche Teile der Webseite von ihnen indexiert werden.

Funktionsweise der robots.txt

Die robots.txt ist die erste Anlaufstelle für die Crawler der Suchmaschinen. Sind sie auf einer Webseite angekommen, durchsuchen sie diese nach der Datei und lesen ihren Inhalt aus. Um gefunden zu werden, muss sie im Stammverzeichnis der Webseite hinterlegt sein. Sie kann Anweisungen zum Ausschluss bestimmter Teile – wie beispielsweise dem Admin-Bereich in WordPress – der Webseite enthalten. Ob sich der Bot bei seinen Aktivitäten an die Befehle hält, ist ihm überlassen. Die Crawler von Google und Bing halten sich jedoch an die Hinweise in der robots.txt.

Vorteile der robots.txt

Die Teile der Webseite, die durch die Anweisungen der robots.txt vom Zugriff der Crawler ausgeschlossen sind, erscheinen nicht im Index der jeweiligen Suchmaschine. Mit einer sorgfältigen Gestaltung der Datei steuert der Webseitenbetreiber die Bots der Suchmaschinen gezielt über seine Seite. Er kann ihre Aufmerksamkeit auf relevante Inhalte lenken und einzelne Dokumente in einem Verzeichnis sowie gesamte Verzeichnisse „verstecken“. Betreiber umfangreicher Internetseiten – wie große Online-Shops – nutzen diese Vorgehensweise hauptsächlich, um Duplicate Content zu verbergen.

Herausforderungen der robots.txt

Die Erstellung der Datei erfordert keine tiefen IT-Kenntnisse. Sie kann unkompliziert im Texteditor erfolgen. Dennoch kann eine fehlerhafte Formulierung zum Ausschluss der gesamten Webseite aus dem Index der Suchmaschinen führen. In diesem Fall wird sie nicht in den Suchergebnissen angezeigt. Zudem unterliegt die Wirksamkeit der robots.txt Grenzen: obwohl sich Google, Bing und Yahoo an die Anweisungen halten, ist dies nicht bei jedem Bot der Fall. Darüber hinaus kann eine durch die Datei ausgeschlossene Seite die Aufmerksamkeit der Suchmaschinen dennoch auf sich ziehen und eine Indexierung erhalten. Dies ist zum Beispiel der Fall, wenn mehrere Backlinks auf sie verweisen.

Bearbeitung der robots.txt

In WordPress helfen spezielle Plug-ins bei der Erstellung und Gestaltung der Datei. Alternativ kann dies über den Server der Domain erfolgen. Hierfür ist ein FTP-Client – wie FileZilla – erforderlich. Vor der Bearbeitung der Datei ist ein Back-up der Seite von Vorteil, um bei Fehlern unkompliziert zur ursprünglichen Version zurückwechseln zu können. Die Google Search Console enthält eine Anleitung zur Erstellung der Datei für den Google-Bot. Sie ermöglicht auch die Überprüfung der Funktionsweise der robots.txt in Echtzeit.

Bedeutung der robots.txt für die Suchmaschinenoptimierung

Für die SEO spielt die robots.txt eine tragende Rolle. Sie kann das Verhalten der Suchmaschinen-Bots – und somit die Indexierung – steuern. Dies erlaubt Webseitenbetreibern die Hervorhebung relevanter Teile ihrer Webseite bei gleichzeitigem Ausschluss von sensiblen und irrelevanten Inhalten. Eine falsche Gestaltung der Datei hingegen kann die Indexierung der gesamten Webseite verhindern und zum Ausschluss aus den Suchergebnissen führen. Die Reihenfolge auf der Suchergebnisseite beeinflusst die robots.txt jedoch nicht. Webseitenbetreiber müssen auf die übrigen Disziplinen der SEO – wie Content Marketing und Targeting – zurückgreifen, um eine vordere Platzierung zu erzielen.