Gecrawlt – zurzeit nicht indexiert: Was es bedeutet und wie Sie es beheben

Früher oder später öffnet jeder Website-Betreiber den Bericht „Seitenindexierung“ in der Google Search Console und findet dort einen grauen Balken mit der Bezeichnung Gecrawlt – zurzeit nicht indexiert und einer Liste von URLs darunter. Es sieht so aus, als hätte Google diese Seiten abgelehnt. Manchmal stimmt das. Meistens ist die Liste vor allem Rauschen.

Dieser Leitfaden erklärt, was der Status bedeutet, wie Sie die wichtigen URLs von denen trennen, die nie wichtig sein werden, und wie Sie die echten Probleme beheben. Am Ende steht der tatsächliche Export meiner eigenen Website, denn die Aufschlüsselung hat mich genauso überrascht wie die meisten meiner Kunden.

Was Google tatsächlich sagt

Googles Definition in der Dokumentation zum Bericht „Seitenindexierung“ ist kurz:

Die Seite wurde von Google gecrawlt, aber nicht indexiert. Sie wird möglicherweise in Zukunft indexiert; es ist nicht notwendig, diese URL noch einmal zum Crawlen einzureichen.

Daraus folgen zwei Dinge. Google hat die Seite bereits besucht und gelesen, ein Zugriffsproblem ist es also nicht. Und Google hat entschieden, dass sie es vorerst nicht wert ist, in den Index aufgenommen zu werden. Das ist eine Bewertung, kein Fehler und keine Abstrafung.

Leicht verwechseln lässt sich das mit einem benachbarten Status, Gefunden – zurzeit nicht indexiert, den Google anders beschreibt: Die Seite wurde gefunden, aber noch nicht gecrawlt, meist weil das Crawlen die Website voraussichtlich überlastet hätte. „Gefunden“ heißt, Google hat noch nicht hingesehen. „Gecrawlt“ heißt, Google hat hingesehen und verzichtet.

Prüfen Sie zuerst, ob es überhaupt ein Problem ist

Bevor Sie irgendetwas reparieren, exportieren Sie die Liste und ordnen jede URL einem von drei Stapeln zu.

• Seiten, die nie indexiert werden sollten. Skript- und Stildateien, Bild-Endpunkte, Feeds, Suchergebnisse, Filter- und Sortierparameter, dünne Tag-Archive. Dass Google sie crawlt, ist normal. Lassen Sie sie in Ruhe oder nehmen Sie sie aus Ihrer Sitemap, falls sie dort stehen.
• Alte URLs, die bereits weiterleiten. Adressen aus einer früheren Version der Website, die heute auf eine andere Seite führen. Google meldet sie, bis es sie erneut crawlt und die Weiterleitung bemerkt. Sie verschwinden von selbst.
• Seiten, die Sie tatsächlich in der Suche haben wollen. Leistungsseiten, Artikel, Produktseiten. Nur dieser Stapel braucht Arbeit, und er ist meist viel kleiner, als der Bericht vermuten lässt.

Eine Warnung beim Sortieren. Wenn Sie Dateien aus einem Ordner wie /_next/static/ auf einer Next.js-Website oder dessen Gegenstück auf einer anderen Plattform sehen, sperren Sie diesen Ordner nicht in der robots.txt, nur um den Bericht aufzuräumen. Google braucht diese Dateien, um Ihre Seiten zu rendern, und eine Sperre kann weit mehr Schaden anrichten als jeder graue Balken.

Warum Google Seiten auslässt, die Sie indexiert haben wollen

Beim dritten Stapel ist die Ursache fast immer eine der folgenden.

1. Doppelte oder nahezu doppelte Inhalte. Zwanzig Standortseiten mit demselben Text und einem anderen Ortsnamen, Druckversionen, dasselbe Produkt unter mehreren URLs. Google wählt eine aus und ignoriert den Rest.
2. Zwei Seiten für dieselbe Suchanfrage. Zwei Artikel zum selben Thema oder eine Leistungsseite und ein Blogartikel, die dieselbe Frage beantworten. Google behält meist eine und lässt die andere fallen. Das nennt man Kannibalisierung, und sie ist häufiger, als man denkt.
3. Dünner Inhalt. Eine Seite mit sehr wenig Einzigartigem oder Nützlichem. Google hat keinen Grund, sie jemandem zu zeigen.
4. Schwache interne Verlinkung. Eine Seite mit wenigen oder gar keinen Links aus dem Rest der Website wirkt unwichtig. Verwaiste Seiten sind ein klassischer Grund.
5. Inhalte, die erst nach dem Ausführen von JavaScript erscheinen. Ist das anfängliche HTML fast leer und wird alles erst im Browser zusammengesetzt, sieht Google womöglich viel weniger als Ihre Besucher. Die Option „Gecrawlte Seite anzeigen“ im Tool „URL-Prüfung“ zeigt, was Google tatsächlich erhalten hat.
6. Eine junge Website mit wenig Autorität. Bei einer neuen Domain indexiert Google selektiv, und Randseiten warten am längsten. Das bessert sich mit Zeit, hochwertigen Inhalten und Links von anderen Websites, und mit kaum etwas anderem.

So beheben Sie es

Arbeiten Sie die echten Seiten nacheinander ab.

• Zusammenführen statt vervielfachen. Zielen zwei Seiten auf dieselbe Suche, legen Sie sie zu einer starken Seite zusammen und setzen Sie auf die schwächere URL eine dauerhafte 301-Weiterleitung.
• Sorgen Sie dafür, dass die Seite ihren Platz verdient. Ergänzen Sie, was wirklich fehlt: konkrete Details, Beispiele, Preise, Antworten auf die Fragen, die Menschen tatsächlich stellen. Füllmaterial macht es schlimmer, nicht besser.
• Verlinken Sie sie von wichtigen Seiten. Ein paar thematisch passende Links von verwandten, gut laufenden Seiten bewirken mehr als jedes Einreichungstool.
• Halten Sie Ihre Sitemap ehrlich. Führen Sie nur kanonische URLs auf, die indexiert werden sollen, und ändern Sie das Datum der letzten Änderung nur, wenn sich der Inhalt wirklich geändert hat. Google verliert das Vertrauen in dieses Datum, wenn es sich bei jedem Deployment ändert.
• Prüfen Sie, was Google rendert. Fehlen auf der gecrawlten Seite Inhalte, beheben Sie das Rendering, in der Regel, indem das HTML auf dem Server statt im Browser erzeugt wird.
• Beantragen Sie danach einmal die Indexierung. Nach einer echten Änderung nutzen Sie die URL-Prüfung und klicken für diese URL auf „Indexierung beantragen“. Nicht vor der Änderung und nicht jeden Tag.

Nutzen Sie anschließend im Bericht die Funktion „Fehlerbehebung überprüfen“ und lassen Sie sich Zeit. Das erneute Crawlen dauert Tage, bis ein Status verschwindet, können einige Wochen vergehen. Wie lange SEO-Änderungen generell brauchen, bis sie sichtbar werden, lesen Sie in wie lange SEO dauert.

Was Sie lassen sollten

• Sperren Sie die Seiten nicht in der robots.txt. Eine Crawling-Sperre entfernt keine Seite aus dem Index und verhindert, dass Google ein noindex-Tag sieht, das es vielleicht sehen soll.
• Beantragen Sie die Indexierung nicht massenhaft. Unveränderte Seiten erneut einzureichen bringt nichts, genau das sagt auch Googles Definition.
• Bezahlen Sie keine Dienste für „sofortige Indexierung“. Bestenfalls bewirken sie nichts Dauerhaftes. Schlimmstenfalls bringen sie Ihre Website mit Spam in Verbindung.
• Blähen Sie Seiten nicht mit generiertem Füllstoff auf. Länger ist nicht besser. Nützlicher schon.

Ein Praxisbeispiel: meine eigene Website

Als ich diesen Bericht für dricomm.com exportiert habe, standen dort 17 URLs als gecrawlt, aber nicht indexiert. Das sah nach einem ernsten Problem aus. Auf die drei Stapel verteilt, war es fast nichts.

• 13 waren alte WordPress-Adressen aus einer früheren Version der Website. Alle leiteten bereits korrekt weiter. Google hatte sie schlicht noch nicht erneut gecrawlt.
• 1 war eine JavaScript-Datei aus dem Build-Ordner der Website und 1 ein Bild-Endpunkt für Vorschaubilder beim Teilen in sozialen Netzwerken. Keine der beiden sollte je indexiert werden.
• 2 waren echte tote Links, alte Adressen, die einen 404-Fehler lieferten. Beide leiten jetzt auf die passendste aktuelle Seite weiter.

Der einzige echte Befund war gar keine kaputte Seite. Zwei meiner eigenen Artikel behandelten fast dasselbe Thema, und Google hatte den neueren indexiert und den älteren stillschweigend ausgelassen. Das ist Kannibalisierung, Punkt zwei oben, und keine Indexierungsanfrage hätte daran etwas geändert. Die einzigen Lösungen sind, beide zusammenzuführen oder einen so umzuschreiben, dass er eine andere Frage beantwortet. Ich habe beide zu einem Artikel zusammengeführt und die alte Adresse darauf weitergeleitet.

Dieses Muster sehe ich bei den meisten Websites. Der Bericht ist lang, die echte Liste kurz, und die Ursache ist meist eine strukturelle Entscheidung und kein technischer Fehler.

Wann Sie sich Sorgen machen sollten

Wenn Ihre Leistungsseiten, Ihre Preisseite oder Ihre besten Artikel seit Wochen in diesem Bericht stehen, ist das ein echtes Signal. Es deutet meist auf doppelte Inhalte, dünnen Inhalt oder schwache interne Verlinkung hin, und es lohnt sich, das gründlich zu beheben. Meine Checkliste für technisches SEO deckt die weiteren Prüfpunkte ab, und warum die meisten Websites nicht ranken behandelt die Ursachen oberhalb der technischen Ebene.

Wenn Sie lieber jemanden die Liste mit Ihnen durchgehen lassen möchten, schicken Sie mir Ihre Website über den kostenlosen Check. Ich sage Ihnen, welche URLs zählen, welche nicht, und was die wichtigen aus Google fernhält.