SEO-Glossar

Robots.txt

Fachdefinition, Bedeutung und Best Practices — kompakt und ohne Marketing-Sprech.

← Zurück zum Glossar

Robots.txt ist eine Textdatei, die Webcrawlern Anweisungen zur Navigation auf einer Website gibt. Sie dient dazu, den Zugriff von Bots auf bestimmte Bereiche einer Domain zu steuern. Diese Datei wird im Root-Verzeichnis einer Website abgelegt und ist öffentlich zugänglich. Ihre primäre Funktion besteht darin, die Serverlast zu reduzieren und die Indexierung unerwünschter Inhalte zu verhindern.

Definition und Einordnung

Die Robots.txt-Datei ist Teil des Robots Exclusion Protocol (REP), einem Standard, der von Suchmaschinen-Crawlern wie Googlebot und Bingbot respektiert wird. Sie ist keine Sicherheitsmaßnahme, da sie lediglich eine Empfehlung an kooperative Crawler darstellt und keine Authentifizierung oder Verschlüsselung bietet. Unkooperative Bots oder solche mit böswilligen Absichten ignorieren diese Anweisungen. Die Datei besteht aus einer oder mehreren Gruppen von Anweisungen, die jeweils einen User-Agent (den Namen des Crawlers) und eine Liste von Direktiven enthalten, wie z.B. Disallow, Allow, Crawl-delay oder Sitemap. Die Syntax ist klar definiert: Jede Anweisung steht in einer eigenen Zeile. Im Gegensatz zum Canonical Tag oder Meta-Robots-Tags, die die Indexierung auf Seiten- oder Verzeichnisebene steuern, reguliert Robots.txt den Zugriff auf Verzeichnisse und Dateien vor dem eigentlichen Crawling-Prozess. Sie kann auch dazu genutzt werden, den Pfad zu einer XML-Sitemap anzugeben, was die Auffindbarkeit von Inhalten für Crawler verbessert.

Warum Robots.txt für SEO wichtig ist

Die korrekte Konfiguration der Robots.txt-Datei ist aus mehreren Gründen für die Suchmaschinenoptimierung (SEO) relevant. Erstens beeinflusst sie das Crawl-Budget einer Website. Durch das Blockieren unwichtiger oder doppelter Inhalte können Crawler ihre Ressourcen effizienter auf relevante Seiten konzentrieren. Dies ist besonders wichtig für große Websites mit vielen Seiten, da Suchmaschinen nur eine begrenzte Zeit und Kapazität für das Crawling einer Domain aufwenden. Eine optimierte Robots.txt stellt sicher, dass das Crawl-Budget nicht für Seiten verschwendet wird, die keinen Mehrwert für die Indexierung bieten.

Zweitens kann die Robots.txt-Datei dazu beitragen, Duplicate Content zu vermeiden. Obwohl sie keine Garantie für die Nicht-Indexierung bietet, kann sie Crawlern signalisieren, bestimmte Bereiche nicht zu besuchen, die identische oder sehr ähnliche Inhalte enthalten. Dies hilft, potenzielle Abstrafungen durch Suchmaschinen zu umgehen und die Relevanz der indexierten Seiten zu stärken. Eine fehlerhafte Konfiguration, die wichtige Seiten blockiert, kann hingegen zu einem Verlust an Sichtbarkeit und Ranking-Positionen führen, da diese Seiten dann nicht in den Suchergebnissen erscheinen können.

Drittens spielt die Robots.txt eine Rolle beim Schutz sensibler oder interner Bereiche einer Website. Obwohl sie keine Sicherheitsmaßnahme ist, kann sie dazu beitragen, dass interne Suchergebnisse, Login-Seiten, Warenkörbe oder andere nicht-öffentliche Bereiche nicht in den Suchindex gelangen. Dies verbessert nicht nur die Benutzererfahrung, indem irrelevante Ergebnisse aus den Suchmaschinen ferngehalten werden, sondern kann auch indirekt die Qualität des Gesamtindex der Website erhöhen, indem nur die relevantesten und wertvollsten Inhalte präsentiert werden. Die korrekte Anwendung dieser Datei ist somit ein grundlegender Bestandteil einer umfassenden technischen SEO-Strategie.

Typische Anwendungsfälle

  • Blockieren von Admin-Bereichen und Login-Seiten, um deren Indexierung zu verhindern.
  • Ausschließen von internen Suchergebnisseiten, die oft wenig Mehrwert für externe Nutzer bieten.
  • Verhindern des Crawlings von Staging-Umgebungen oder Testseiten vor deren Veröffentlichung.
  • Blockieren von Skripten, Stylesheets oder Bildern, die für die Indexierung nicht relevant sind und das Crawl-Budget unnötig belasten könnten.
  • Steuerung des Zugriffs auf Parameter-URLs, um Duplicate Content zu vermeiden.
  • Angeben des Pfades zur XML-Sitemap, um Crawlern die Auffindbarkeit neuer oder aktualisierter Inhalte zu erleichtern.

Fehlerbilder und Diagnose

Häufige Fehler in der Robots.txt-Datei können schwerwiegende Auswirkungen auf die Sichtbarkeit einer Website in Suchmaschinen haben. Ein klassisches Fehlerbild ist das versehentliche Blockieren wichtiger Seiten oder ganzer Verzeichnisse, die eigentlich indexiert werden sollen. Dies führt dazu, dass diese Inhalte nicht von Suchmaschinen erfasst werden können und somit nicht in den Suchergebnissen erscheinen. Solche Probleme lassen sich oft in der Google Search Console unter dem Bericht „Abdeckung“ oder „Robots.txt-Tester“ diagnostizieren. Serverlogs können ebenfalls Aufschluss darüber geben, welche Crawler welche Bereiche der Website besuchen und ob sie dabei auf Blockierungen stoßen. Ein weiterer Fehler ist eine fehlerhafte Syntax, die dazu führt, dass die Anweisungen von Crawlern nicht korrekt interpretiert werden. Dies kann dazu führen, dass entweder zu viel oder zu wenig gecrawlt wird. Es ist auch möglich, dass eine Robots.txt-Datei gar nicht existiert oder nicht im Root-Verzeichnis abgelegt ist, wodurch Crawler ungehindert auf alle Bereiche zugreifen können, was unerwünschte Indexierungen zur Folge haben kann. Die Kombination von Disallow in der Robots.txt und einem noindex-Tag im HTML-Head einer Seite kann ebenfalls zu Verwirrung führen, da der Crawler die Seite nicht besuchen darf, um das noindex-Tag zu entdecken. In solchen Fällen wird die Seite möglicherweise nicht indexiert, aber auch nicht aus dem Index entfernt, falls sie bereits indexiert war.

Best Practices

  1. Stellen Sie sicher, dass die Robots.txt-Datei im Root-Verzeichnis der Domain (z.B. https://www.example.com/robots.txt) liegt.
  2. Verwenden Sie den Robots.txt-Tester in der Google Search Console, um die Syntax und die Auswirkungen Ihrer Anweisungen zu überprüfen.
  3. Blockieren Sie nur Inhalte, die definitiv nicht in den Suchindex gelangen sollen oder das Crawl-Budget unnötig belasten.
  4. Vermeiden Sie das Blockieren von CSS- und JavaScript-Dateien, da diese für das Rendering und die korrekte Interpretation der Seite durch Suchmaschinen wichtig sind.
  5. Fügen Sie am Ende der Datei einen Link zu Ihrer XML-Sitemap hinzu, um Crawlern die Auffindbarkeit zu erleichtern (z.B. Sitemap: https://www.example.com/sitemap.xml).
  6. Seien Sie präzise bei der Verwendung von Wildcards (*) und dem Dollarzeichen ($) für End-of-URL-Matching, um unbeabsichtigte Blockierungen zu vermeiden.

Verwandte Begriffe

Die Robots.txt-Datei ist eng mit dem Konzept des Crawl-Budgets verbunden, da sie direkt beeinflusst, welche Teile einer Website von Crawlern besucht werden. Eine effektive Nutzung kann dazu beitragen, dass das Crawl-Budget effizienter für relevante Inhalte eingesetzt wird, was wiederum die Indexierung wichtiger Seiten fördert. Im Gegensatz dazu steuert das Canonical Tag die Indexierung von Seiten mit Duplicate Content, indem es die bevorzugte URL für Suchmaschinen festlegt. Während die Robots.txt den Zugriff auf Verzeichnisse regelt, beeinflusst das Canonical Tag die Auswahl der kanonischen URL, wenn mehrere URLs denselben Inhalt aufweisen. Auch der 404-Fehler, der anzeigt, dass eine Seite nicht gefunden wurde, kann indirekt durch die Robots.txt beeinflusst werden, wenn fälschlicherweise wichtige Seiten blockiert werden, die dann nicht mehr erreichbar sind. Ein Crawler, der eine blockierte URL nicht besuchen darf, kann auch keine Informationen über den Status dieser URL erhalten, was die Diagnose erschweren kann. Die Google Search Console ist ein unverzichtbares Tool zur Überwachung der Auswirkungen der Robots.txt auf das Crawling und die Indexierung.

Häufige Fragen

Kann die Robots.txt die Indexierung einer Seite verhindern?

Nein, die Robots.txt kann die Indexierung einer Seite nicht garantieren. Sie verhindert lediglich das Crawling. Wenn eine blockierte Seite über externe Links gefunden wird, kann sie dennoch indexiert werden, allerdings ohne Inhalt.

Was passiert, wenn keine Robots.txt-Datei vorhanden ist?

Wenn keine Robots.txt-Datei vorhanden ist, gehen Crawler davon aus, dass sie alle Bereiche der Website besuchen dürfen. Dies kann zu einer Indexierung unerwünschter Inhalte führen.

Sollte ich CSS- und JavaScript-Dateien in der Robots.txt blockieren?

In der Regel sollten CSS- und JavaScript-Dateien nicht blockiert werden. Suchmaschinen benötigen Zugriff auf diese Ressourcen, um eine Seite korrekt zu rendern und deren Inhalt sowie Layout zu verstehen.

Wie lange dauert es, bis Änderungen an der Robots.txt wirksam werden?

Die Wirksamkeit von Änderungen an der Robots.txt hängt vom Crawling-Intervall der Suchmaschinen ab. Es kann Minuten bis Tage dauern, bis die Änderungen von den Crawlern bemerkt und umgesetzt werden.