Damit eine Seite bei Google erscheinen kann, muss sie zwei Schritte durchlaufen: erst gecrawlt, dann indexiert werden. Wer versteht, wie dieser Prozess funktioniert, kann gezielt eingreifen – und verhindern, dass wichtige Seiten unsichtbar bleiben.
Crawling und Indexierung laufen in klar definierten Phasen ab. Schlägt eine Phase fehl, ist die Seite für Google unsichtbar – unabhängig davon, wie gut der Inhalt ist.
Googlebot findet neue URLs über Links von bereits bekannten Seiten, über Sitemaps oder über die Google Search Console. Seiten ohne eingehende Links werden oft gar nicht gefunden.
Der Googlebot ruft die Seite ab und liest HTML, Text, Bilder und Links ein. Dabei prüft er auch robots.txt und Meta-Robots-Tags – steht dort „Disallow" oder „noindex", bricht er ab.
Google analysiert den Inhalt, erkennt Struktur, Thema und Qualität der Seite. JavaScript-Inhalte werden verzögert gerendert – das kann die Indexierung verlangsamen.
Wenn die Seite die Qualitätsanforderungen erfüllt, wird sie in den Google-Index aufgenommen. Erst ab diesem Punkt kann sie bei passenden Suchanfragen erscheinen.
Indexierte Seiten werden gegen tausende Rankingfaktoren bewertet und für relevante Suchanfragen positioniert. Crawling und Indexierung sind die Voraussetzung – das Ranking ist das Ergebnis.
Mit zwei Mechanismen kann kontrolliert werden, was Google crawlen und indexieren darf. Das ist wichtig, um Crawl-Budget nicht auf unwichtige Seiten zu verschwenden.
# Alle Crawler erlaubt User-agent: * Allow: / # Bestimmte Verzeichnisse sperren Disallow: /wp-admin/ Disallow: /danke/ Disallow: /checkout/ # Sitemap angeben Sitemap: https://example.de/sitemap.xml
<!-- Seite indexieren, Links folgen (Standard) --> <meta name="robots" content="index, follow"> <!-- Seite NICHT indexieren --> <meta name="robots" content="noindex, nofollow">
Google crawlt nicht jede Seite täglich. Jede Website hat ein Crawl-Budget – die Anzahl der Seiten, die Googlebot in einem bestimmten Zeitraum besucht. Auf großen Websites kann ineffizienter Einsatz des Crawl-Budgets dazu führen, dass wichtige Seiten seltener aktualisiert oder neue Inhalte verzögert indexiert werden.
Diese Tools helfen dabei zu verstehen, wie Google die eigene Website sieht – und wo Probleme beim Crawling oder der Indexierung entstehen:
Das variiert stark – von wenigen Stunden bis zu mehreren Wochen. Faktoren sind die Domain-Autorität, die Verlinkung der neuen Seite und ob eine Sitemap eingereicht wurde. Über die Search Console (URL-Prüfung → Indexierung beantragen) kann der Prozess beschleunigt werden.
Ja – das passiert häufig. Gründe: ein noindex-Tag, dünner oder doppelter Inhalt, Qualitätsprobleme oder ein Canonical, der auf eine andere URL zeigt. Die Search Console zeigt unter „Seiten" genau an, warum eine Seite nicht indexiert wurde.
Googlebot crawlt die Seite nicht – kann sie aber trotzdem im Index behalten, wenn andere Seiten darauf verlinken. Um sicherzustellen, dass eine Seite weder gecrawlt noch indexiert wird, braucht man beides: robots.txt-Sperre UND noindex-Meta-Tag.
Bei kleinen Websites unter einigen hundert Seiten ist Crawl-Budget selten ein Problem – Google indexiert diese in der Regel vollständig. Relevant wird es ab einigen tausend Seiten, etwa bei Online-Shops mit vielen Filterkombinationen oder großen Nachrichtenportalen.