«Страница просканирована, но пока не проиндексирована»: что это значит и как исправить

Рано или поздно каждый владелец сайта открывает в Google Search Console отчёт «Индексирование страниц» и видит серую полосу с подписью «Страница просканирована, но пока не проиндексирована» и список URL под ней. Выглядит так, будто Google отверг эти страницы. Иногда так и есть. Но чаще список в основном состоит из шума.

В этом гайде — что означает статус, как отделить важные URL от тех, что никогда не будут важны, и как исправить реальные проблемы. В конце — настоящая выгрузка с моего собственного сайта: её разбор удивил меня так же, как обычно удивляет клиентов.

Что на самом деле говорит Google

Определение Google в справке по отчёту «Индексирование страниц» короткое:

Страница просканирована роботом Google, но не проиндексирована. Возможно, она будет проиндексирована в будущем; повторно отправлять этот URL на сканирование не нужно.

Из этого следуют две вещи. Google уже заходил на страницу и прочитал её, значит, проблема не в доступе. И он решил, что пока добавлять её в индекс не стоит. Это оценка, а не ошибка и не санкция.

Этот статус легко спутать с соседним — «Обнаружена, не проиндексирована», который Google описывает иначе: страница найдена, но ещё не просканирована, обычно потому, что сканирование могло перегрузить сайт. «Обнаружена» значит, что Google ещё не смотрел. «Просканирована» — посмотрел и прошёл мимо.

Сначала поймите, есть ли проблема вообще

Прежде чем что-то исправлять, выгрузите список и разложите каждый URL в одну из трёх стопок.

• Страницы, которые никогда не должны индексироваться. Файлы скриптов и стилей, адреса изображений, фиды, страницы поиска, параметры фильтров и сортировки, пустые архивы тегов. То, что Google их сканирует, — нормально. Оставьте их в покое или уберите из sitemap, если они там есть.
• Старые URL, которые уже перенаправляются. Адреса из прошлой версии сайта, которые теперь ведут на другие страницы. Google показывает их, пока не просканирует повторно и не увидит редирект. Они исчезнут сами.
• Страницы, которые вы действительно хотите видеть в поиске. Страницы услуг, статьи, карточки товаров. Работы требует только эта стопка, и обычно она гораздо меньше, чем кажется по отчёту.

Одно предупреждение во время сортировки. Если вы видите файлы из папки вроде /_next/static/ на сайте на Next.js или её аналога на другой платформе, не закрывайте эту папку в robots.txt, чтобы почистить отчёт. Google нужны эти файлы, чтобы отрисовать ваши страницы, и запрет может навредить куда сильнее любой серой полосы.

Почему Google пропускает страницы, которые вам нужны в индексе

В третьей стопке причина почти всегда одна из этих.

1. Дублированный или почти дублированный контент. Двадцать страниц для разных районов с одинаковым текстом и другим названием, версии для печати, один и тот же товар под несколькими URL. Google выбирает одну страницу и игнорирует остальные.
2. Две страницы под один и тот же запрос. Две статьи на одну тему или страница услуги и статья в блоге, отвечающие на один и тот же вопрос. Обычно Google оставляет одну, а другую отбрасывает. Это называется каннибализацией, и она встречается чаще, чем принято думать.
3. Тонкий контент. Страница, на которой почти нет уникального или полезного. У Google нет причин показывать её кому-то.
4. Слабая внутренняя перелинковка. Страница, на которую почти не ссылаются другие страницы сайта или не ссылается никто, выглядит неважной. Страницы-сироты — классическая причина.
5. Контент, который появляется только после выполнения JavaScript. Если исходный HTML почти пустой и всё собирается в браузере, Google может увидеть гораздо меньше, чем ваши посетители. Кнопка «Просмотреть просканированную страницу» в инструменте «Проверка URL» показывает, что Google получил на самом деле.
6. Молодой сайт с небольшим авторитетом. На новом домене Google индексирует выборочно, и дольше всего ждут второстепенные страницы. Это лечится временем, качественным контентом и ссылками с других сайтов — и почти ничем больше.

Как исправить

Разбирайте реальные страницы по одной.

• Объединяйте, а не множьте. Если две страницы нацелены на один запрос, соберите их в одну сильную страницу и поставьте постоянный 301-редирект со слабого URL.
• Сделайте так, чтобы страница заслуживала своего места. Добавьте то, чего действительно не хватает: конкретику, примеры, цены, ответы на вопросы, которые задают люди. «Вода» делает только хуже.
• Поставьте ссылки с важных страниц. Несколько уместных ссылок с близких по теме страниц, которые хорошо работают, дают больше, чем любой инструмент отправки.
• Держите sitemap честным. Указывайте только канонические URL, которые хотите видеть в индексе, и меняйте дату последнего изменения, только когда контент действительно изменился. Google перестаёт доверять этой дате, если она обновляется при каждом деплое.
• Проверьте, что отрисовывает Google. Если на просканированной странице не хватает контента, исправьте отрисовку — обычно тем, что HTML генерируется на сервере, а не в браузере.
• После этого один раз запросите индексирование. После реального изменения откройте «Проверку URL» и нажмите «Запросить индексирование» для этого адреса. Не до изменения и не каждый день.

Затем нажмите в отчёте «Проверить исправление» и наберитесь терпения. Повторное сканирование занимает дни, а исчезновение статуса — иногда несколько недель. О том, сколько вообще времени нужно, чтобы изменения в SEO стали заметны, я пишу в статье сколько времени занимает SEO.

Чего делать не стоит

• Не закрывайте страницы в robots.txt. Запрет сканирования не убирает страницу из индекса и не даёт Google увидеть тег noindex, который вы, возможно, хотите ему показать.
• Не запрашивайте индексирование массово. Повторная отправка неизменённых страниц ничего не даёт — ровно это и сказано в определении Google.
• Не платите за сервисы «мгновенной индексации». В лучшем случае они не дают долгосрочного эффекта. В худшем — связывают ваш сайт со спамом.
• Не раздувайте страницы сгенерированной «водой». Длиннее — не значит лучше. Полезнее — значит.

Пример из практики: мой собственный сайт

Когда я выгрузил этот отчёт для dricomm.com, в нём было 17 URL со статусом «просканирована, но не проиндексирована». Выглядело как серьёзная проблема. После раскладки по трём стопкам почти ничего не осталось.

• 13 оказались старыми адресами WordPress из прошлой версии сайта. Все они уже корректно перенаправлялись. Google просто ещё не просканировал их заново.
• 1 был JavaScript-файлом из папки сборки сайта, и 1 — адресом изображения для превью при публикации в соцсетях. Ни один из них никогда не должен был индексироваться.
• 2 были настоящими битыми ссылками — старыми адресами, которые отдавали ошибку 404. Теперь оба перенаправляют на самую близкую актуальную страницу.

Единственная реальная находка вообще не была сломанной страницей. Две мои собственные статьи были почти на одну тему, и Google проиндексировал более новую, а старую тихо пропустил. Это каннибализация, второй пункт из списка выше, и никакие запросы на индексирование её бы не исправили. Решений только два: объединить статьи или переписать одну так, чтобы она отвечала на другой вопрос. Я объединил их в одну статью и настроил переадресацию со старого адреса.

Эту картину я вижу на большинстве сайтов. Отчёт длинный, реальный список короткий, а причина обычно в решениях по структуре, а не в технической поломке.

Когда действительно стоит волноваться

Если ваши страницы услуг, страница с ценами или лучшие статьи неделями висят в этом отчёте — это реальный сигнал. Обычно он указывает на дубли, тонкий контент или слабую перелинковку, и это стоит исправить как следует. Мой чек-лист технического SEO охватывает остальные проверки, а статья почему большинство сайтов не выходит в топ — причины, которые лежат выше технического уровня.

Если хотите, чтобы кто-то прошёлся по списку вместе с вами, пришлите мне сайт через бесплатный аудит. Я скажу, какие URL важны, какие нет и что мешает важным попасть в Google.