„5 Sterne sind absolut verdient!Von der ersten Idee bis zur fertigen Website hat alles gepasst. Das Team arbeitet kreativ, modern und mit einem richtig guten Gespür für Design und Markenauftritt. Unsere Website für Running Late ist jung, frisch und genau so geworden, wie wir sie uns vorgestellt haben.Besonders überzeugt hat uns die schnelle Kommunikation, die Zuverlässigkeit und die Fähigkeit, eigene Ideen einzubringen und gleichzeitig unsere Wünsche perfekt umzusetzen.Wer eine Webagentur sucht, die nicht nur schöne Webseiten gestaltet, sondern auch mitdenkt und individuelle Lösungen entwickelt, ist hier genau richtig. Vielen Dank für die tolle Zusammenarbeit. Wir freuen uns schon auf die nächsten gemeinsamen Projekte!“
beispiel.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche der Website gecrawlt werden dürfen und welche nicht. Sie ist kein Sicherheitsmechanismus, sondern ein Kommunikationsmittel gegenüber regelkonformen Bots.Die robots.txt ist eine der ältesten Konventionen im Web, und gleichzeitig eine der gefährlichsten Dateien für die eigene SEO. Eine falsche Zeile kann eine gesamte Website aus dem Google-Index verschwinden lassen.
Kostenloses Werkzeug
Mit dem KI-Sichtbarkeits-Check von onlinewachsen.de lässt sich kostenlos und ohne Anmeldung prüfen, ob ChatGPT, Gemini, Claude und Perplexity ein Unternehmen nennen und richtig beschreiben. Eine E-Mail wird nur verschickt, wenn man sie ausdrücklich anfordert.
Zum KI-Sichtbarkeits-CheckAufbau und Syntax
Eine robots.txt besteht aus sogenannten Blöcken. Jeder Block richtet sich an einen bestimmten Crawler (User-agent) und enthält Regeln, was erlaubt oder verboten ist:
# Alle Crawler User-agent: * Disallow: /wp-admin/ Disallow: /intern/ Allow: /wp-admin/admin-ajax.php # Nur Googlebot User-agent: Googlebot Disallow: /staging/ # Sitemap angeben Sitemap: https://beispiel.de/sitemap.xml
| Direktive | Bedeutung | Beispiel |
|---|---|---|
| User-agent | Gibt an, für welchen Crawler die Regel gilt. * = alle. | User-agent: Googlebot |
| Disallow | Verbietet dem Crawler das Besuchen des angegebenen Pfads. | Disallow: /intern/ |
| Allow | Erlaubt explizit einen Pfad, der sonst durch Disallow gesperrt wäre. | Allow: /intern/presse/ |
| Sitemap | Gibt den Speicherort der XML-Sitemap an. | Sitemap: /sitemap.xml |
| Crawl-delay | Wartezeit zwischen Crawl-Anfragen (von Google ignoriert). | Crawl-delay: 2 |
Wofür wird die robots.txt eingesetzt?
Sinnvoll ist die robots.txt überall dort, wo Seiten existieren, die gecrawlt werden könnten, aber keinen SEO-Wert haben, um das Crawl Budget effizienter zu nutzen:
- CMS-Backends blockieren: /wp-admin/, /administrator/ und ähnliche Pfade haben im Index nichts verloren
- Interne Suche ausschließen: Suchergebnisseiten erzeugen Duplikate und verschwenden Crawl-Kapazität
- Staging-Umgebungen schützen: Testversionen sollen nicht indexiert werden
- Parametrisierte URLs reduzieren: Filter- und Sortierpfade in Shops gezielt ausschließen
- Sitemap kommunizieren: Den Speicherort der Sitemap direkt in der robots.txt angeben
Häufige Fehler und Best Practices
Disallow: /blockiert die gesamte Website- CSS- und JS-Dateien blockiert: Google kann Seiten nicht korrekt rendern
- robots.txt als Sicherheitsmechanismus missbraucht
- Seiten per robots.txt blockiert und gleichzeitig noindex gesetzt
- Kein Test nach Änderungen: Fehler fallen oft erst Wochen später auf
- Nach jeder Änderung im robots.txt-Tester der Search Console prüfen
- CSS, JS und Bilder grundsätzlich crawlbar lassen
- Sensible Inhalte per Passwort oder Login schützen, nicht per robots.txt
- Sitemap-URL immer am Ende der Datei eintragen
- Kommentare mit # nutzen, um Regeln zu dokumentieren
robots.txt vs. noindex: was ist der Unterschied?
Ein weit verbreiteter Irrtum: robots.txt und noindex erfüllen unterschiedliche Aufgaben und sollten nicht verwechselt oder kombiniert werden.
Verhindert, dass der Crawler eine Seite besucht. Google kann die Seite aber trotzdem indexieren, wenn andere Seiten auf sie verlinken, nur ohne den Inhalt zu kennen.
Die Seite wird gecrawlt, aber Google nimmt sie nicht in den Index auf. Zuverlässigere Methode, um Seiten aus den Suchergebnissen zu halten.
Eine per robots.txt geblockte Seite kann kein noindex-Tag lesen: Google sieht den Tag gar nicht. Die Seite kann so ungewollt ohne Inhaltskenntnisse indexiert bleiben.
Seiten, die nicht indexiert werden sollen: noindex verwenden, Crawling erlauben. robots.txt nur für Seiten nutzen, die wirklich kein Crawl Budget verdienen.
Häufige Fragen zur robots.txt
Nein. Eine fehlende robots.txt ist kein Fehler: Google crawlt die Website dann ohne Einschränkungen. Für kleine Websites ohne sensible Bereiche ist das in der Regel vollkommen in Ordnung. Relevant wird die Datei erst, wenn gezielt Bereiche vom Crawling ausgeschlossen werden sollen.
Regelkonforme Crawler wie Googlebot, Bingbot oder die meisten SEO-Tools respektieren die robots.txt. Bösartige Bots und Scraper ignorieren sie jedoch vollständig. Die robots.txt ist kein Sicherheitsmechanismus, sensible Inhalte müssen technisch geschützt werden.
Google stellt in der Search Console unter „Crawling" ein robots.txt-Testtool bereit. Dort lässt sich für jede beliebige URL prüfen, ob sie durch eine Regel blockiert wird. Nach jeder Änderung an der Datei sollte dieser Test durchgeführt werden.
Immer im Stammverzeichnis der Domain, also direkt unter https://beispiel.de/robots.txt. Eine robots.txt in einem Unterverzeichnis wie /blog/robots.txt wird von Google nicht als gültig erkannt und ignoriert.
Verwandte Begriffe
- Crawling & IndexierungCrawling bezeichnet den Prozess, bei dem Googles automatisierte Programme (Crawler, auch „Googlebot" genannt) das Web nach Seiten…
- KeywordsEin Keyword ist ein Wort oder eine Wortgruppe, für die eine Seite in Suchmaschinen gefunden werden soll, etwa ein typischer Suchbegriff der…
- Structured DataStructured Data (strukturierte Daten) ist maschinenlesbarer Code, der im Quelltext einer Seite hinterlegt wird und Suchmaschinen erklärt…
Zuletzt fachlich geprüft am